시스템 최적화 - 로그파일 분석 및 효율적으로 관리하기시스템 최적화 - 로그파일 분석 및 효율적으로 관리하기
페이지 정보
작성자 MintState 댓글 0건 조회 12,643회 작성일 08-12-23 20:18본문
시스템 최적화 - 로그파일 분석 및 효율적으로 관리하기
글쓴날 : 2000년 2월 22일(화)
글쓴이 : 문태준
(http://www.taejun.pe.kr, taejun@taejun.pe.kr, taejun@hitel.net)
참고자료
man syslogd.conf
man sysklogd
man logrotate
20만통의 전자메일과 sendmail(마소 99년 5월)중 로그 파일 관리부분
기타 리눅스 및 유닉스 시스템 관리 관련 서적
0. 들어가며
시스템에는 사용자 로그인, 메일등 모든 시스템 활동에 대한 로그를 기록 하고 이를 가지고 시스템의 문제에 대해서 분석할 수 있다.
시스템의 로그가 어떤 식으로 기록되고 어떤 의미를 가지고 있는지, 이를 어떻게 활용해야할지 시스템 관리자라면 반드시 숙지하고 있어야 할 것이다.
소규모로 서버를 운영하는 경우 로그파일에 그다지 신경을 쓰는 일이 없다. 그렇지만 제공하는 서비스가 많아지고 규모가 커질 경우 예상치 못한 곳에서 문제가 생기는 일이 많다. 그중 하나가 엄청나게 증가하는 로그파일문제 이다.
예를 들어보자. 하루에 10만통의 전자메일을 처리하는 경우를 생각해보자.
sendmail은 전자메일을 전송하면서 그 결과 메시지른 syslogd를 이용 /var/log/maillog에 저장한다. (이는 설정에 따라 다를 수 있다) 또한 여기에 pop3를 사용해 메일을 가져간 기록과 메일을 전송한 기록까지 저장되어야한다.
정상적으로 전자메일이 전송되는 경우 기록되는 메시지는 560 바이트정도이다. 그렇지만 전송시 에러가 나는 경우에는 그 에러 횟수에 따라 에러 메시지가 추가된다. 평균 하나의 전자메일이 1KB 정도의 로그를 기록한다고 해보자. 하루에 10만개의 메일을 전송한다면 하룻동안 로그의 크기만 100M 이고 일주일이면 700MB이다.
여기에 메일계정이 1000명이고 각 사용자가 5분마다 pop3로 메일을 확인 한다고 했을 경우를 추가해야한다. 한번에 약 0.2KB의 로그가 쌓이면 시간당 12번(5분에 한번씩 확인하는 경우), 하루 8시간 근무시 96번이고 96*0.2KB = 192kb이다. 1000명이므로 192MB가 되고 일주일이면 일요일을 제외하더라도 1.15G정도가 된다.
한 사람당 메일용량을 10M씩 할당하면 전자메일을 저장할 용량만으로 10G가 필요하고 로그를 위해 2G 이상이 필요하다. 여기서 그냥 2G로 끝나는 것이 아니라 rotate 값이 4라면 8G가 된다. 가히 끔찍한 상황이 예상되지 않는가?
여기서만 끝나는 것이 아니다. syslogd는 maillog를 열어놓고 계속 로그 를 기록하는데 로그파일이 1M이상 넘어가면 하나의 메시지를 처리하기 위해 시스템 자원을 10% 이상 사용한다고 하며 10M가 넘으면 40% 이상, 100M가 넘으면 80% 이상의 시스템 자원을 사용한다고 한다. (물론 이는 자신의 시스템 상황을 끊임없이 모니터링해서 자신에 맞추어야 할 것이 다) 결국 서비스를 제공하는데 자원을 사용해야하는데 엄청나게 커진 로그파일때문에 시스템의 자원이 없어져서 나중에는 전자메일 전송이 아니라 로그 기록에 모든 cpu 시간을 사용해야한다. 하드 디스크를 빈번하게 사용하는 작업이 많으면 시스템의 성능은 급격하게 떨어진다.
이제 웹서버로그 기록을 살펴보자. 이용자가 접속할 때마다 기록되는 access_log는 한번 접속당 약 85Byte가 증가한다. 하루 10만번 접속 하면 8.5M이다. 일주일이면 59.5M이다. 한달이면 255M이다. 서비스하 는 규모가 더 크다면 로그파이을 액세스하고 갱신하는데는 더 많은 시스템 자원을 사용할 것이다.
서론을 이렇게 장황하게 이야기한것은 관리자가 로그 기록에 신경을 쓰지 않는다면 대규모 서비스를 제공하면서 얼마나 큰 문제가 생길수 있는지를 알려주고자 하기 위함이다. 필자의 개인 홈페이지에서야 그런 문제가 생기지는 않겠지만....
로그 기록을 어떤 식으로 설정할 것인가? 정책에 관한 것은 관리자가 해야 할 몫이라 생각하며 여기에서는 로그 파일의 설정 및 로테이션 에 대해서 설명을 한다. 필자가 책을 그다지 뒤져보지 않아서 그런지 는 모르겠는데 유닉스 서버 관리 서적에도 이에 대해서는 그리 자세히 나와있지 않아서 이번 기회를 이용해 정리해보고자 한다.
1. 시스템 로그 기록 (syslog)
일반적으로 배포판 설치시 로그파일을 기록하는 패키지가 자동으로 설치된다.
참고로 문서디렉토리의 내용은 사용과 관련해서는 그다지 도움이 되지 않고 오히려 맨페이지가 도움이 되었다.
보통 위와 같이 로그 대몬은 시스템의 부팅시 초창기에 실행이 된다.
그러면 가장 먼저 /etc/syslog.conf 를 살펴보자. syslod의 설정 파일이다.
설정파일은 매우 간단하다. 빈 행과 # 으로 시작되는 행은 무시된다. (참고로 리눅스는 BSD 형식으로 로그를 구성한다)
설정행의 구조는 다음과 같다.
facility는 메시지를 보내는 서브시스템의 이름이며 level(priority)은 메시지의 중요성(엄격도)을 나타낸다.
facility는 다음과 같다.
priority는 다음과 같다. (엄격도가 감소하는 순서)
각자에 대한 설명은 아래를 참고하자.
auth 대신 auth_priv를 사용할 것을 추천하고 있으며 나머지는 읽어보면 쉽게 이해가 갈 것이다. 크론, 대몬, 커널 메시지, 로컬에서 사용, 프린터, 메일, 뉴스, syslog, 사용자 정의, UUCP. (auth는 로그인 인증 시스템)
emerg : 시스템 패닉
alert : 에러 경고. 즉각 알려야할 내용
crit : 하드 장치 에러와 같은 임계 에러(critical error)
err : 에러
warn : 경고
notice : 비임계 메시지
info : 정보 메시지
debug :문제 추적을 돕는 특수 정보
만약 none 이라고 하면 그에 대한 모든 로그 메시지를 제외하라는 뜻입니다.
모든 facility 나 priority 를 지정하려면 * 를 쓰면 되며 여러개를 지정하려면 , 를 사용하면 됩니다.
그런데 여기서 반드시 알아두야할것이 priority를 지정하면 그와 갈은 priority부터 그 위의 priority에 관련된 로그를 기록한다는 것입니다. 만약 info 를 지정하면 emerg 부터 info 사이의 모든 로그를 기록하는 것이지요.
만약 단일한 priority를 지정하려면 = 를 사용하면 됩니다. !는 priority 범위를 제한합니다. 이에 대해서는 아래에서 설명하는 예를 참고하세요.
** 리눅스에서 syslogd는 원래 BSD 소스에 몇가지 기능이 추가 되었다. =, ! 등이 이에 속한다.
로그파일을 기록으로 남기는 방식에는 여러가지가 있다.
가장 먼저 파일형태(/var/log/messages). named pipe. 터미널과 콘솔(/dev/console). 원격 머신(@). 사용자. 로그인한 전체 사용자(*)
자 가장 먼저 /etc/syslog.conf 를 살펴보자.
보통 위의 내용이 일반적인 배포판 구성이다.
아마 kernel 메시지에는 주석이 되어있을 것이다.
예를 들어 *.err /dev/tty8 를 추가해보자.
놀고있는 tty8 콘솔에서 시스템에서 발생하는 모든 에러를 볼 수 있다.
이건 모든 메시지를 taejun 이라는 원격 호스트에서 처리하도록 할 수 있다. 어떤 경우 이게 유용할까? 이건 클러스터링으로 구성된 시스템에서 아주 유용할 것이다. 모든 syslog 메시지를 한대의 시스템으로 모을 수 있으니깐.
그러면 위의 기본 설정말고 몇가지 예를 더 보자.
logger 유틸리티는 쉘 스크립트에서 syslog 기능을 이용 메시지를 보낼 수 있다.
좀 유치한 예이지요????
참고로 /var/log/wtmp 를 이용, last 명령으로 사용자의 로그인과 관련된 기록을 볼 수 있다.
위 설정파일에서 /var/log/에 있는 로그파일에 대해서 어느정도 설명을 다 하였다. 여기서 언급하지 않은 것이 xferlog 인데 이는 ftp 서버에 대한 로그파일이다.
위 내용을 참고로 자신의 서버에 맞는 로그 기록을 설정해보자.
2. logrotate 이용한 로그 파일 관리
서문에서 말을 한대로 로그파일을 제대로 관리하지 않으면 대형 서버의 경우 로그파일때문에 하드디스크 공간이 남아나지 않고 또 로그파일 처리로 버벅거리게 된다.
대부분 레드햇 기반의 배포판에서는 기본으로 설치되어 있다.
logrotate는 계속 커지는 로그파일을 효율적으로 관리하기 위한 프로그램이다.
자동으로 로테이션을 시켜주고, 압축, 제거, 메일로 보내주기 등의 작업을 한다.
초기 리눅스 설치시 자동으로 cron에 추가가 된다.
내용은 다음과 같다.
위에서 보면 logrotate 가 프로그램이고 logrotate.conf가 설정파일이라는 것을 알 수 있을 것이다. 위에서 .conf 파일대신 특정 디렉토리를 지정하면 그 해당 디렉토리의 모든 파일을 사용해 작업을 한다. logrotate 에 여러가지 옵션이 있지만 그다지 사용할 일은 없을 것 같다. 혹시나 궁금하면 man 으로 확인.
먼저 rotate 에 대해서 설명하겠다. rotate 3 라면 cron 로그라고 했을 경우. /var/log 디렉토리에 cron이 제일 처음 생성되고 순환간격마마 예전 cron 은 cron.1 이, cron.1은 cron.2, cron.2 는 cron.3 으로 된다. 기존의 cron.3은 삭제가 될 것이다. 그러니깐 새로 생성한 메일로그외에 이전의 로그를 3개까지 기록 하는 것이다.
자 그러면 이제 설정파일을 한번 살펴보자.
이제 몇가지 주요한 옵션에 대해서 살펴보자.
ㅇ 순환할 기간 설정 : daily, weekly, monthly 등 여기에 size 를 이용해 크기까지 설정할 수 있다.
접속이 많아서 로그파일이 엄청나게 늘어나는 경우에는 size(기본 kilobytes)를 이용 제어해야 할 것이다.
size 100k(= size 100)
ㅇ 압축설정 : compress
gzip으로 이전 로그파일을 압축한다. 공간을 절약할 수 있다.
이 옵션을 없애려면 주석을 달든지 아니면 nocompress(기본값) 사용
ㅇ 메일설정 : error, mail
error taejun -> 에러를 taejun 이라는 사용자에게 보냄
mail taejun -> 로그파일을 순환시키고 나중에 삭제해야할때 삭제하지 않고 메일로 보내는 것이다.
ㅇ 로그파일 생성
create mode owner group (기본값)
위에서 사용예는 설명했다. create 를 지정하면 순환후 로그 파일을 생성한다. 반대는 nocreate
ㅇ 순환간격 : rotate count
이전 로그파일이 삭제되거나 메일로 보내기전에 순환을 할 횟수 지정. 여기서 0으로 지정하면 예전 로그파일은 무조건 삭제된다.
ㅇ 지정한 로그파일이 없을 경우 : missingok, nomissingok
로그파일이 없으면 기본은 에러를 낸다(nomissingok, 기본값).
missingok 를 지정하면 없더라도 에러를 내지는 않는다.
ㅇ 로그파일의 내용이 없을 경우(비어있을경우)
기본은 ifempty로 내용이 비었어도 순환을 한다.
순환을 하지 않도록 하려면 notifempty 를 지정하면 된다.
ㅇ 순환후 작업 : postrotate/endscript
순환하기전 작업을 하려면 prerotate/endscript 를 사용한다. 일반적으로는 순환후 작업을 할 것이다.
예를 들어 메일관련 로그를 새로 생성했으면 syslogd를 다시 가동시켜야 할 것이다. 이런것들을 지정한다.
ㅇ 파일 또는 디렉토리 포함 : include
다른 파일이나 디렉토리안의 파일을 포함할 경우
자 이에 위의 내용을 토대로 메일의 로그를 조정해보자.
여기서는 /etc/logrotate.d/syslog 에서 메일서버의 로그만 따로 처리를 해보겠다.
위의 예제는 그냥 참고로 만든 것이므로 따라할 필요는 없다.
매주마다 한번식 순환시키고 크기가 500k가 넘지 않도록 하며 순환한 파일은 압축을 한다. 에러를 admin 이라는 사용자에게 보내고 순환후 삭제할 파일을 메일로 admin 에게 보낸다.
만약 로그파일이 없으면 에러를 내며 순환후 파일을 생성시키고 이 파일의 모드는 0644 로 소유자와 그룹은 root 로 한다.
서비스의 규모에 따라 로그파일을 순환할 주기를 더 짧게 잡아야 한다. 크기를 지정하는것이 여러모로 효율적일 것이다.
3. 마치며
여기까지 읽었다면 대략 시스템의 로그가 어떻게 작성되고 어떻게 관리를 해야할지 감을 잡았을 것이다.
시스템이 나쁘다는 것을 탓하지 전에 관리자가 얼마나 시스템의 상태를 주기적으로 점검하고 최적화하는지가 중요하다.
### 참고 : 서버 로그를 다른 호스트에 기록하기
클러스터링 시스템을 구성하는 경우 여러 서버로 로그가 나누어집니다.
이럴 경우 중앙의 관리자용 서버로 로그를 집중시킬 수 있습니다.
1. 먼저 확인해야 할 것
/etc/services
syslog 514/udp
로그를 만드는 쪽과 받는 쪽 두군데에서 다 필요합니다.
보통 기본 설정되어있을 것입니다.
메시지를 주고받는데 UDP 포트가 필요하기 때문입니다.
2. 로그를 작성하는 서버에서 필요한 설정.
/etc/syslog.conf
mail.info @admin
이건 mail.info 에 해당하는 로그를 admin 이라는 호스트로 보내는 것입니다.
이왕이면 admin은 DNS에 문제가 생길 수도 있으므로 /etc/hosts에 등록해 두는 것이 좋을 것입니다.
필요하다면 *.* 을 이용 전부를 다 보낼 수도 있겠지요.
이게 좋은게 뭐냐면 시스템이 맛이 가더라도 원격 호스트에도 로그 파일이 남으므로 나중에 분석을 할 수 있다는 것입니다.
3. 로그를 받는 서버에서 필요한 설정
syslogd 대몬을 시작할때 추가 옵션이 필요합니다.
레드햇의 경우 시작파일은 다음과 같은 형태일 것입니다.
/etc/rc.d/init.d/syslog
여기서 대몬을 시작하는 옵션으로
daemon syslogd -m 0 -r -h
이렇게 사용을 합니다.
-m 0 : 기본설정되어있는것으로 변경하지 않아도 됩니다. 이건 지정한 분동안에 MARK 라고 로그파일에 기록을 합니다. 0이면 기록을 하지 않는 것이지요.
-r : 인터넷 도메인 소켓을 이용해 네트웍에서 메시지를 받는 옵션
-h : 기본적으로 syslogd는 원격 호스트에서 받은 메시지를 로그 기록으로 전송하지 않습니다. 이 옵션을 사용하여 원격 호스트에서 받은 로그파일을 전송합니다. (전송이란 받은 쪽의 로그 파일에 기록한다고 생각하면 됩니다)
man syslogd 를 해보면 도움을 얻을 수 있습니다.
syslogd의 보안을 위한 보안 패키지도 있습니다.
http://www.core-sdi.com/english/freesoft.htm
secure system logging tool 입니다.
그런데 지원하는 것을 보면 슬랙웨어이군요.
컴파일하여 설치하는 것이니깐 무난히 설치될 것이라 예상되네요.
글쓴날 : 2000년 2월 22일(화)
글쓴이 : 문태준
(http://www.taejun.pe.kr, taejun@taejun.pe.kr, taejun@hitel.net)
참고자료
man syslogd.conf
man sysklogd
man logrotate
20만통의 전자메일과 sendmail(마소 99년 5월)중 로그 파일 관리부분
기타 리눅스 및 유닉스 시스템 관리 관련 서적
0. 들어가며
시스템에는 사용자 로그인, 메일등 모든 시스템 활동에 대한 로그를 기록 하고 이를 가지고 시스템의 문제에 대해서 분석할 수 있다.
시스템의 로그가 어떤 식으로 기록되고 어떤 의미를 가지고 있는지, 이를 어떻게 활용해야할지 시스템 관리자라면 반드시 숙지하고 있어야 할 것이다.
소규모로 서버를 운영하는 경우 로그파일에 그다지 신경을 쓰는 일이 없다. 그렇지만 제공하는 서비스가 많아지고 규모가 커질 경우 예상치 못한 곳에서 문제가 생기는 일이 많다. 그중 하나가 엄청나게 증가하는 로그파일문제 이다.
예를 들어보자. 하루에 10만통의 전자메일을 처리하는 경우를 생각해보자.
sendmail은 전자메일을 전송하면서 그 결과 메시지른 syslogd를 이용 /var/log/maillog에 저장한다. (이는 설정에 따라 다를 수 있다) 또한 여기에 pop3를 사용해 메일을 가져간 기록과 메일을 전송한 기록까지 저장되어야한다.
정상적으로 전자메일이 전송되는 경우 기록되는 메시지는 560 바이트정도이다. 그렇지만 전송시 에러가 나는 경우에는 그 에러 횟수에 따라 에러 메시지가 추가된다. 평균 하나의 전자메일이 1KB 정도의 로그를 기록한다고 해보자. 하루에 10만개의 메일을 전송한다면 하룻동안 로그의 크기만 100M 이고 일주일이면 700MB이다.
여기에 메일계정이 1000명이고 각 사용자가 5분마다 pop3로 메일을 확인 한다고 했을 경우를 추가해야한다. 한번에 약 0.2KB의 로그가 쌓이면 시간당 12번(5분에 한번씩 확인하는 경우), 하루 8시간 근무시 96번이고 96*0.2KB = 192kb이다. 1000명이므로 192MB가 되고 일주일이면 일요일을 제외하더라도 1.15G정도가 된다.
한 사람당 메일용량을 10M씩 할당하면 전자메일을 저장할 용량만으로 10G가 필요하고 로그를 위해 2G 이상이 필요하다. 여기서 그냥 2G로 끝나는 것이 아니라 rotate 값이 4라면 8G가 된다. 가히 끔찍한 상황이 예상되지 않는가?
여기서만 끝나는 것이 아니다. syslogd는 maillog를 열어놓고 계속 로그 를 기록하는데 로그파일이 1M이상 넘어가면 하나의 메시지를 처리하기 위해 시스템 자원을 10% 이상 사용한다고 하며 10M가 넘으면 40% 이상, 100M가 넘으면 80% 이상의 시스템 자원을 사용한다고 한다. (물론 이는 자신의 시스템 상황을 끊임없이 모니터링해서 자신에 맞추어야 할 것이 다) 결국 서비스를 제공하는데 자원을 사용해야하는데 엄청나게 커진 로그파일때문에 시스템의 자원이 없어져서 나중에는 전자메일 전송이 아니라 로그 기록에 모든 cpu 시간을 사용해야한다. 하드 디스크를 빈번하게 사용하는 작업이 많으면 시스템의 성능은 급격하게 떨어진다.
이제 웹서버로그 기록을 살펴보자. 이용자가 접속할 때마다 기록되는 access_log는 한번 접속당 약 85Byte가 증가한다. 하루 10만번 접속 하면 8.5M이다. 일주일이면 59.5M이다. 한달이면 255M이다. 서비스하 는 규모가 더 크다면 로그파이을 액세스하고 갱신하는데는 더 많은 시스템 자원을 사용할 것이다.
서론을 이렇게 장황하게 이야기한것은 관리자가 로그 기록에 신경을 쓰지 않는다면 대규모 서비스를 제공하면서 얼마나 큰 문제가 생길수 있는지를 알려주고자 하기 위함이다. 필자의 개인 홈페이지에서야 그런 문제가 생기지는 않겠지만....
로그 기록을 어떤 식으로 설정할 것인가? 정책에 관한 것은 관리자가 해야 할 몫이라 생각하며 여기에서는 로그 파일의 설정 및 로테이션 에 대해서 설명을 한다. 필자가 책을 그다지 뒤져보지 않아서 그런지 는 모르겠는데 유닉스 서버 관리 서적에도 이에 대해서는 그리 자세히 나와있지 않아서 이번 기회를 이용해 정리해보고자 한다.
1. 시스템 로그 기록 (syslog)
일반적으로 배포판 설치시 로그파일을 기록하는 패키지가 자동으로 설치된다.
참고로 문서디렉토리의 내용은 사용과 관련해서는 그다지 도움이 되지 않고 오히려 맨페이지가 도움이 되었다.
보통 위와 같이 로그 대몬은 시스템의 부팅시 초창기에 실행이 된다.
그러면 가장 먼저 /etc/syslog.conf 를 살펴보자. syslod의 설정 파일이다.
설정파일은 매우 간단하다. 빈 행과 # 으로 시작되는 행은 무시된다. (참고로 리눅스는 BSD 형식으로 로그를 구성한다)
설정행의 구조는 다음과 같다.
facility는 메시지를 보내는 서브시스템의 이름이며 level(priority)은 메시지의 중요성(엄격도)을 나타낸다.
facility는 다음과 같다.
priority는 다음과 같다. (엄격도가 감소하는 순서)
각자에 대한 설명은 아래를 참고하자.
auth 대신 auth_priv를 사용할 것을 추천하고 있으며 나머지는 읽어보면 쉽게 이해가 갈 것이다. 크론, 대몬, 커널 메시지, 로컬에서 사용, 프린터, 메일, 뉴스, syslog, 사용자 정의, UUCP. (auth는 로그인 인증 시스템)
emerg : 시스템 패닉
alert : 에러 경고. 즉각 알려야할 내용
crit : 하드 장치 에러와 같은 임계 에러(critical error)
err : 에러
warn : 경고
notice : 비임계 메시지
info : 정보 메시지
debug :문제 추적을 돕는 특수 정보
만약 none 이라고 하면 그에 대한 모든 로그 메시지를 제외하라는 뜻입니다.
모든 facility 나 priority 를 지정하려면 * 를 쓰면 되며 여러개를 지정하려면 , 를 사용하면 됩니다.
그런데 여기서 반드시 알아두야할것이 priority를 지정하면 그와 갈은 priority부터 그 위의 priority에 관련된 로그를 기록한다는 것입니다. 만약 info 를 지정하면 emerg 부터 info 사이의 모든 로그를 기록하는 것이지요.
만약 단일한 priority를 지정하려면 = 를 사용하면 됩니다. !는 priority 범위를 제한합니다. 이에 대해서는 아래에서 설명하는 예를 참고하세요.
** 리눅스에서 syslogd는 원래 BSD 소스에 몇가지 기능이 추가 되었다. =, ! 등이 이에 속한다.
로그파일을 기록으로 남기는 방식에는 여러가지가 있다.
가장 먼저 파일형태(/var/log/messages). named pipe. 터미널과 콘솔(/dev/console). 원격 머신(@). 사용자. 로그인한 전체 사용자(*)
자 가장 먼저 /etc/syslog.conf 를 살펴보자.
보통 위의 내용이 일반적인 배포판 구성이다.
아마 kernel 메시지에는 주석이 되어있을 것이다.
예를 들어 *.err /dev/tty8 를 추가해보자.
놀고있는 tty8 콘솔에서 시스템에서 발생하는 모든 에러를 볼 수 있다.
이건 모든 메시지를 taejun 이라는 원격 호스트에서 처리하도록 할 수 있다. 어떤 경우 이게 유용할까? 이건 클러스터링으로 구성된 시스템에서 아주 유용할 것이다. 모든 syslog 메시지를 한대의 시스템으로 모을 수 있으니깐.
그러면 위의 기본 설정말고 몇가지 예를 더 보자.
logger 유틸리티는 쉘 스크립트에서 syslog 기능을 이용 메시지를 보낼 수 있다.
좀 유치한 예이지요????
참고로 /var/log/wtmp 를 이용, last 명령으로 사용자의 로그인과 관련된 기록을 볼 수 있다.
위 설정파일에서 /var/log/에 있는 로그파일에 대해서 어느정도 설명을 다 하였다. 여기서 언급하지 않은 것이 xferlog 인데 이는 ftp 서버에 대한 로그파일이다.
위 내용을 참고로 자신의 서버에 맞는 로그 기록을 설정해보자.
2. logrotate 이용한 로그 파일 관리
서문에서 말을 한대로 로그파일을 제대로 관리하지 않으면 대형 서버의 경우 로그파일때문에 하드디스크 공간이 남아나지 않고 또 로그파일 처리로 버벅거리게 된다.
대부분 레드햇 기반의 배포판에서는 기본으로 설치되어 있다.
logrotate는 계속 커지는 로그파일을 효율적으로 관리하기 위한 프로그램이다.
자동으로 로테이션을 시켜주고, 압축, 제거, 메일로 보내주기 등의 작업을 한다.
초기 리눅스 설치시 자동으로 cron에 추가가 된다.
내용은 다음과 같다.
위에서 보면 logrotate 가 프로그램이고 logrotate.conf가 설정파일이라는 것을 알 수 있을 것이다. 위에서 .conf 파일대신 특정 디렉토리를 지정하면 그 해당 디렉토리의 모든 파일을 사용해 작업을 한다. logrotate 에 여러가지 옵션이 있지만 그다지 사용할 일은 없을 것 같다. 혹시나 궁금하면 man 으로 확인.
먼저 rotate 에 대해서 설명하겠다. rotate 3 라면 cron 로그라고 했을 경우. /var/log 디렉토리에 cron이 제일 처음 생성되고 순환간격마마 예전 cron 은 cron.1 이, cron.1은 cron.2, cron.2 는 cron.3 으로 된다. 기존의 cron.3은 삭제가 될 것이다. 그러니깐 새로 생성한 메일로그외에 이전의 로그를 3개까지 기록 하는 것이다.
자 그러면 이제 설정파일을 한번 살펴보자.
이제 몇가지 주요한 옵션에 대해서 살펴보자.
ㅇ 순환할 기간 설정 : daily, weekly, monthly 등 여기에 size 를 이용해 크기까지 설정할 수 있다.
접속이 많아서 로그파일이 엄청나게 늘어나는 경우에는 size(기본 kilobytes)를 이용 제어해야 할 것이다.
size 100k(= size 100)
ㅇ 압축설정 : compress
gzip으로 이전 로그파일을 압축한다. 공간을 절약할 수 있다.
이 옵션을 없애려면 주석을 달든지 아니면 nocompress(기본값) 사용
ㅇ 메일설정 : error, mail
error taejun -> 에러를 taejun 이라는 사용자에게 보냄
mail taejun -> 로그파일을 순환시키고 나중에 삭제해야할때 삭제하지 않고 메일로 보내는 것이다.
ㅇ 로그파일 생성
create mode owner group (기본값)
위에서 사용예는 설명했다. create 를 지정하면 순환후 로그 파일을 생성한다. 반대는 nocreate
ㅇ 순환간격 : rotate count
이전 로그파일이 삭제되거나 메일로 보내기전에 순환을 할 횟수 지정. 여기서 0으로 지정하면 예전 로그파일은 무조건 삭제된다.
ㅇ 지정한 로그파일이 없을 경우 : missingok, nomissingok
로그파일이 없으면 기본은 에러를 낸다(nomissingok, 기본값).
missingok 를 지정하면 없더라도 에러를 내지는 않는다.
ㅇ 로그파일의 내용이 없을 경우(비어있을경우)
기본은 ifempty로 내용이 비었어도 순환을 한다.
순환을 하지 않도록 하려면 notifempty 를 지정하면 된다.
ㅇ 순환후 작업 : postrotate/endscript
순환하기전 작업을 하려면 prerotate/endscript 를 사용한다. 일반적으로는 순환후 작업을 할 것이다.
예를 들어 메일관련 로그를 새로 생성했으면 syslogd를 다시 가동시켜야 할 것이다. 이런것들을 지정한다.
ㅇ 파일 또는 디렉토리 포함 : include
다른 파일이나 디렉토리안의 파일을 포함할 경우
자 이에 위의 내용을 토대로 메일의 로그를 조정해보자.
여기서는 /etc/logrotate.d/syslog 에서 메일서버의 로그만 따로 처리를 해보겠다.
위의 예제는 그냥 참고로 만든 것이므로 따라할 필요는 없다.
매주마다 한번식 순환시키고 크기가 500k가 넘지 않도록 하며 순환한 파일은 압축을 한다. 에러를 admin 이라는 사용자에게 보내고 순환후 삭제할 파일을 메일로 admin 에게 보낸다.
만약 로그파일이 없으면 에러를 내며 순환후 파일을 생성시키고 이 파일의 모드는 0644 로 소유자와 그룹은 root 로 한다.
서비스의 규모에 따라 로그파일을 순환할 주기를 더 짧게 잡아야 한다. 크기를 지정하는것이 여러모로 효율적일 것이다.
3. 마치며
여기까지 읽었다면 대략 시스템의 로그가 어떻게 작성되고 어떻게 관리를 해야할지 감을 잡았을 것이다.
시스템이 나쁘다는 것을 탓하지 전에 관리자가 얼마나 시스템의 상태를 주기적으로 점검하고 최적화하는지가 중요하다.
### 참고 : 서버 로그를 다른 호스트에 기록하기
클러스터링 시스템을 구성하는 경우 여러 서버로 로그가 나누어집니다.
이럴 경우 중앙의 관리자용 서버로 로그를 집중시킬 수 있습니다.
1. 먼저 확인해야 할 것
/etc/services
syslog 514/udp
로그를 만드는 쪽과 받는 쪽 두군데에서 다 필요합니다.
보통 기본 설정되어있을 것입니다.
메시지를 주고받는데 UDP 포트가 필요하기 때문입니다.
2. 로그를 작성하는 서버에서 필요한 설정.
/etc/syslog.conf
mail.info @admin
이건 mail.info 에 해당하는 로그를 admin 이라는 호스트로 보내는 것입니다.
이왕이면 admin은 DNS에 문제가 생길 수도 있으므로 /etc/hosts에 등록해 두는 것이 좋을 것입니다.
필요하다면 *.* 을 이용 전부를 다 보낼 수도 있겠지요.
이게 좋은게 뭐냐면 시스템이 맛이 가더라도 원격 호스트에도 로그 파일이 남으므로 나중에 분석을 할 수 있다는 것입니다.
3. 로그를 받는 서버에서 필요한 설정
syslogd 대몬을 시작할때 추가 옵션이 필요합니다.
레드햇의 경우 시작파일은 다음과 같은 형태일 것입니다.
/etc/rc.d/init.d/syslog
여기서 대몬을 시작하는 옵션으로
daemon syslogd -m 0 -r -h
이렇게 사용을 합니다.
-m 0 : 기본설정되어있는것으로 변경하지 않아도 됩니다. 이건 지정한 분동안에 MARK 라고 로그파일에 기록을 합니다. 0이면 기록을 하지 않는 것이지요.
-r : 인터넷 도메인 소켓을 이용해 네트웍에서 메시지를 받는 옵션
-h : 기본적으로 syslogd는 원격 호스트에서 받은 메시지를 로그 기록으로 전송하지 않습니다. 이 옵션을 사용하여 원격 호스트에서 받은 로그파일을 전송합니다. (전송이란 받은 쪽의 로그 파일에 기록한다고 생각하면 됩니다)
man syslogd 를 해보면 도움을 얻을 수 있습니다.
syslogd의 보안을 위한 보안 패키지도 있습니다.
http://www.core-sdi.com/english/freesoft.htm
secure system logging tool 입니다.
그런데 지원하는 것을 보면 슬랙웨어이군요.
컴파일하여 설치하는 것이니깐 무난히 설치될 것이라 예상되네요.
|
|
댓글목록
등록된 댓글이 없습니다.
