Настройка логирования и ротации логов

Настройка логирования и ротации логов

1. Подготовка системы

• Войдите в систему под учетной записью с правами root или пользователя с правами sudo.
• Убедитесь, что у вас есть доступ к серверу через SSH или консоль.

2. Основы логирования в Linux

Система логирования

Linux использует несколько систем логирования:

• systemd-journald - системные логи
• rsyslog - традиционная система логирования
• syslog-ng - альтернативная система логирования
• logrotate - ротация логов

Основные директории логов

1. Системные логи:

/var/log/syslog

/var/log/auth.log

/var/log/kern.log

/var/log/mail.log

2. Логи приложений:

/var/log/apache2/

/var/log/nginx/

/var/log/mysql/

/var/log/postfix/

3. Логи systemd:

journalctl

3. Настройка rsyslog

Установка и настройка

1. Установите rsyslog:

sudo apt install rsyslog

2. Проверьте статус:

sudo systemctl status rsyslog

3. Отредактируйте конфигурацию:

sudo nano /etc/rsyslog.conf

Основная конфигурация

1. Настройте основные параметры:

$ModLoad imuxsock

$ModLoad imklog

$ModLoad immark

$FileCreateMode 0640

$DirCreateMode 0755

$Umask 0022

$WorkDirectory /var/spool/rsyslog

$ActionQueueType LinkedList

$ActionQueueFileName srvrfwd

$ActionResumeRetryCount -1

$ActionQueueSaveOnShutdown on

Настройка правил логирования

1. Добавьте правила логирования:

auth,authpriv.* /var/log/auth.log

kern.* /var/log/kern.log

mail.* /var/log/mail.log

cron.* /var/log/cron.log

*.info;mail.none;authpriv.none;cron.none /var/log/syslog

*.err /var/log/errors.log

4. Настройка systemd-journald

Основная конфигурация

1. Отредактируйте конфигурацию journald:

sudo nano /etc/systemd/journald.conf

2. Настройте основные параметры:

[Journal]

Storage=persistent

SystemMaxUse=1G

SystemMaxFileSize=100M

SystemMaxFiles=10

RuntimeMaxUse=100M

RuntimeMaxFileSize=10M

RuntimeMaxFiles=5

MaxRetentionSec=1month

3. Перезапустите journald:

sudo systemctl restart systemd-journald

Управление журналами

1. Просмотрите все логи:

sudo journalctl

2. Просмотрите логи за последний час:

sudo journalctl --since "1 hour ago"

3. Просмотрите логи службы:

sudo journalctl -u service_name

4. Просмотрите логи в реальном времени:

sudo journalctl -f

5. Настройка logrotate

Основная конфигурация

1. Отредактируйте основной файл конфигурации:

sudo nano /etc/logrotate.conf

2. Настройте основные параметры:

weekly

rotate 4

create

dateext

compress

delaycompress

missingok

notifempty

include /etc/logrotate.d

Создание правил ротации

1. Создайте правило для системных логов:

sudo nano /etc/logrotate.d/syslog

2. Добавьте содержимое:

/var/log/syslog

{

daily

rotate 7

compress

delaycompress

missingok

notifempty

postrotate

/usr/lib/rsyslog/rsyslog-rotate

endscript

}

3. Создайте правило для Apache:

sudo nano /etc/logrotate.d/apache2

4. Добавьте содержимое:

/var/log/apache2/*.log

{

daily

rotate 14

compress

delaycompress

missingok

notifempty

create 644 root root

postrotate

/bin/kill -USR1 `cat /var/run/apache2.pid 2>/dev/null` 2>/dev/null || true

endscript

}

6. Настройка централизованного логирования

Настройка rsyslog сервера

1. Отредактируйте конфигурацию сервера:

sudo nano /etc/rsyslog.conf

2. Добавьте настройки для приема логов:

$ModLoad imudp

$UDPServerRun 514

$ModLoad imtcp

$InputTCPServerRun 514

$template RemoteLogs,"/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log"

*.* ?RemoteLogs

3. Создайте директорию для удаленных логов:

sudo mkdir -p /var/log/remote

sudo chown syslog:syslog /var/log/remote

Настройка rsyslog клиента

1. На клиентском сервере отредактируйте конфигурацию:

sudo nano /etc/rsyslog.conf

2. Добавьте настройки для отправки логов:

*.* @@log-server.example.com:514

3. Перезапустите rsyslog:

sudo systemctl restart rsyslog

7. Настройка мониторинга логов

Установка и настройка ELK стека

1. Установите Elasticsearch:

sudo apt install elasticsearch

2. Установите Logstash:

sudo apt install logstash

3. Установите Kibana:

sudo apt install kibana

Настройка Logstash

1. Создайте конфигурацию Logstash:

sudo nano /etc/logstash/conf.d/syslog.conf

2. Добавьте содержимое:

input {

file {

path => "/var/log/syslog"

type => "syslog"

}

}

filter {

if [type] == "syslog" {

grok {

match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:message}" }

}

}

}

output {

elasticsearch {

hosts => ["localhost:9200"]

}

}

8. Создание скриптов мониторинга

Скрипт мониторинга логов

1. Создайте скрипт мониторинга:

sudo nano /usr/local/bin/log-monitor.sh

2. Добавьте содержимое:

LOG_DIR="/var/log"

ALERT_EMAIL="admin@example.com"

LOG_SIZE_LIMIT=100M

for log_file in $(find $LOG_DIR -name "*.log" -type f); do

size=$(du -h $log_file | cut -f1)

if [[ $size > $LOG_SIZE_LIMIT ]]; then

echo "ALERT: Large log file: $log_file ($size)" | mail -s "Log Alert" $ALERT_EMAIL

fi

done

ERROR_COUNT=$(grep -c "ERROR\|FATAL\|CRITICAL" $LOG_DIR/syslog 2>/dev/null || echo "0")

if [ $ERROR_COUNT -gt 10 ]; then

echo "ALERT: High error count in syslog: $ERROR_COUNT" | mail -s "Error Alert" $ALERT_EMAIL

fi

if [ ! -f $LOG_DIR/syslog ]; then

echo "ALERT: syslog file not found" | mail -s "Log Alert" $ALERT_EMAIL

fi

3. Сделайте скрипт исполняемым:

sudo chmod +x /usr/local/bin/log-monitor.sh

Скрипт анализа логов

1. Создайте скрипт анализа:

sudo nano /usr/local/bin/log-analyzer.sh

2. Добавьте содержимое:

HOUR_AGO=$(date -d "1 hour ago" "+%b %d %H")

echo "=== Log Analysis for the last hour ==="

echo "Time: $(date)"

echo ""

echo "Top IP addresses:"

grep "$HOUR_AGO" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | head -10

echo "Top users:"

grep "$HOUR_AGO" /var/log/auth.log | awk '{print $9}' | sort | uniq -c | sort -nr | head -10

echo "Error count:"

grep -c "ERROR\|FATAL\|CRITICAL" /var/log/syslog

echo "Warning count:"

grep -c "WARNING\|WARN" /var/log/syslog

3. Сделайте скрипт исполняемым:

sudo chmod +x /usr/local/bin/log-analyzer.sh

9. Настройка автоматической ротации

Создание пользовательских правил

1. Создайте правило для пользовательских логов:

sudo nano /etc/logrotate.d/custom

2. Добавьте содержимое:

/var/log/custom/*.log

{

daily

rotate 30

compress

delaycompress

missingok

notifempty

create 644 root root

postrotate

/bin/kill -HUP `cat /var/run/rsyslogd.pid 2>/dev/null` 2>/dev/null || true

endscript

}

Настройка cron для ротации

1. Добавьте задачу в crontab:

sudo crontab -e

2. Добавьте строку:

0 2 * * * /usr/sbin/logrotate /etc/logrotate.conf

10. Устранение неполадок

Частые проблемы

1. Логи не ротируются:

• Проверьте конфигурацию:

  sudo logrotate -d /etc/logrotate.conf

• Проверьте права доступа:

  ls -la /var/log/

• Проверьте cron:

  sudo systemctl status cron

2. Логи занимают много места:

• Проверьте правила ротации:

  cat /etc/logrotate.d/*

• Очистите старые логи:

  sudo find /var/log -name "*.log.*" -mtime +30 -delete

• Настройте более агрессивную ротацию

3. Логи не записываются:

• Проверьте статус rsyslog:

  sudo systemctl status rsyslog

• Проверьте права на файлы логов
• Проверьте конфигурацию rsyslog

Диагностика

1. Проверьте статус служб логирования:

sudo systemctl status rsyslog

sudo systemctl status systemd-journald

2. Проверьте конфигурацию logrotate:

sudo logrotate -d /etc/logrotate.conf

3. Проверьте права доступа:

ls -la /var/log/

4. Проверьте использование диска:

du -sh /var/log/*

11. Оптимизация производительности

Настройки производительности

1. Отредактируйте конфигурацию rsyslog:

sudo nano /etc/rsyslog.conf

2. Добавьте настройки производительности:

$WorkDirectory /var/spool/rsyslog

$ActionQueueType LinkedList

$ActionQueueFileName srvrfwd

$ActionResumeRetryCount -1

$ActionQueueSaveOnShutdown on

$ActionQueueMaxDiskSpace 1g

$ActionQueueSize 10000

Мониторинг производительности

1. Создайте скрипт мониторинга производительности:

sudo nano /usr/local/bin/log-performance.sh

2. Добавьте содержимое:

echo "=== Log Performance Statistics ==="

echo "Date: $(date)"

echo ""

echo "Log directory sizes:"

du -sh /var/log/* | sort -hr

echo "Number of log files:"

find /var/log -name "*.log" -type f | wc -l

echo "Logging services status:"

systemctl is-active rsyslog

systemctl is-active systemd-journald

echo "Memory usage:"

ps aux | grep -E "(rsyslog|journald)" | grep -v grep

3. Сделайте скрипт исполняемым:

sudo chmod +x /usr/local/bin/log-performance.sh

12. Дополнительные возможности

Настройка алертов

1. Создайте скрипт алертов:

sudo nano /usr/local/bin/log-alerts.sh

2. Добавьте содержимое:

ALERT_EMAIL="admin@example.com"

LOG_FILE="/var/log/syslog"

CRITICAL_COUNT=$(grep -c "CRITICAL\|FATAL" $LOG_FILE 2>/dev/null || echo "0")

if [ $CRITICAL_COUNT -gt 0 ]; then

echo "ALERT: Critical errors found: $CRITICAL_COUNT" | mail -s "Critical Log Alert" $ALERT_EMAIL

fi

FAILED_LOGINS=$(grep -c "Failed password" $LOG_FILE 2>/dev/null || echo "0")

if [ $FAILED_LOGINS -gt 10 ]; then

echo "ALERT: High number of failed logins: $FAILED_LOGINS" | mail -s "Security Alert" $ALERT_EMAIL

fi

LOG_SIZE=$(du -h $LOG_FILE | cut -f1)

if [[ $LOG_SIZE > "100M" ]]; then

echo "ALERT: Large log file: $LOG_FILE ($LOG_SIZE)" | mail -s "Log Size Alert" $ALERT_EMAIL

fi

3. Сделайте скрипт исполняемым:

sudo chmod +x /usr/local/bin/log-alerts.sh

4. Добавьте в crontab:

*/15 * * * * /usr/local/bin/log-alerts.sh

Заключение

Система логирования и ротации логов настроена! Теперь ваши логи организованы и автоматически управляются.

Для размещения ваших проектов с настроенным логированием на надежном хостинге рекомендуем воспользоваться услугами [ARK-HOSTER.RU](https://ark-hoster.ru):

• [Выделенные серверы](https://ark-hoster.ru/dedicated/) - для проектов с большими объемами логов
• [VPS/VDS серверы](https://ark-hoster.ru/vpsgame/) - для небольших и средних проектов

Наши специалисты помогут с настройкой логирования и обеспечением мониторинга вашего сервера!