Настройка логирования и ротации логов

Настройка логирования и ротации логов

1. Подготовка системы

• Войдите в систему под учетной записью с правами root или пользователя с правами sudo.
• Убедитесь, что у вас есть доступ к серверу через SSH или консоль.

2. Основы логирования в Linux =

Система логирования

Linux использует несколько систем логирования:

• systemd-journald - системные логи
• rsyslog - традиционная система логирования
• syslog-ng - альтернативная система логирования
• logrotate - ротация логов

Основные директории логов

1. Системные логи: /var/log/syslog /var/log/auth.log /var/log/kern.log /var/log/mail.log

2. Логи приложений: /var/log/apache2/ /var/log/nginx/ /var/log/mysql/ /var/log/postfix/

3. Логи systemd: journalctl

3. Настройка rsyslog =

Установка и настройка

1. Установите rsyslog: sudo apt install rsyslog

2. Проверьте статус: sudo systemctl status rsyslog

3. Отредактируйте конфигурацию: sudo nano /etc/rsyslog.conf

Основная конфигурация

1. Настройте основные параметры: $ModLoad imuxsock $ModLoad imklog $ModLoad immark $FileCreateMode 0640 $DirCreateMode 0755 $Umask 0022 $WorkDirectory /var/spool/rsyslog $ActionQueueType LinkedList $ActionQueueFileName srvrfwd $ActionResumeRetryCount -1 $ActionQueueSaveOnShutdown on

Настройка правил логирования

1. Добавьте правила логирования: auth,authpriv.* /var/log/auth.log kern.* /var/log/kern.log mail.* /var/log/mail.log cron.* /var/log/cron.log *.info;mail.none;authpriv.none;cron.none /var/log/syslog *.err /var/log/errors.log

4. Настройка systemd-journald =

Основная конфигурация

1. Отредактируйте конфигурацию journald: sudo nano /etc/systemd/journald.conf

2. Настройте основные параметры: [Journal] Storage=persistent SystemMaxUse=1G SystemMaxFileSize=100M SystemMaxFiles=10 RuntimeMaxUse=100M RuntimeMaxFileSize=10M RuntimeMaxFiles=5 MaxRetentionSec=1month

3. Перезапустите journald: sudo systemctl restart systemd-journald

Управление журналами

1. Просмотрите все логи: sudo journalctl

2. Просмотрите логи за последний час: sudo journalctl --since "1 hour ago"

3. Просмотрите логи службы: sudo journalctl -u service_name

4. Просмотрите логи в реальном времени: sudo journalctl -f

5. Настройка logrotate =

Основная конфигурация

1. Отредактируйте основной файл конфигурации: sudo nano /etc/logrotate.conf

2. Настройте основные параметры: weekly rotate 4 create dateext compress delaycompress missingok notifempty include /etc/logrotate.d

Создание правил ротации

1. Создайте правило для системных логов: sudo nano /etc/logrotate.d/syslog

2. Добавьте содержимое: /var/log/syslog { daily rotate 7 compress delaycompress missingok notifempty postrotate /usr/lib/rsyslog/rsyslog-rotate endscript }

3. Создайте правило для Apache: sudo nano /etc/logrotate.d/apache2

4. Добавьте содержимое: /var/log/apache2/*.log { daily rotate 14 compress delaycompress missingok notifempty create 644 root root postrotate /bin/kill -USR1 `cat /var/run/apache2.pid 2>/dev/null` 2>/dev/null || true endscript }

6. Настройка централизованного логирования =

Настройка rsyslog сервера

1. Отредактируйте конфигурацию сервера: sudo nano /etc/rsyslog.conf

2. Добавьте настройки для приема логов: $ModLoad imudp $UDPServerRun 514 $ModLoad imtcp $InputTCPServerRun 514 $template RemoteLogs,"/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log" *.* ?RemoteLogs

3. Создайте директорию для удаленных логов: sudo mkdir -p /var/log/remote sudo chown syslog:syslog /var/log/remote

Настройка rsyslog клиента

1. На клиентском сервере отредактируйте конфигурацию: sudo nano /etc/rsyslog.conf

2. Добавьте настройки для отправки логов: *.* @@log-server.example.com:514

3. Перезапустите rsyslog: sudo systemctl restart rsyslog

7. Настройка мониторинга логов =

Установка и настройка ELK стека

1. Установите Elasticsearch: sudo apt install elasticsearch

2. Установите Logstash: sudo apt install logstash

3. Установите Kibana: sudo apt install kibana

Настройка Logstash

1. Создайте конфигурацию Logstash: sudo nano /etc/logstash/conf.d/syslog.conf

2. Добавьте содержимое: input { file { path => "/var/log/syslog" type => "syslog" } } filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:message}" } } } } output { elasticsearch { hosts => ["localhost:9200"] } }

8. Создание скриптов мониторинга =

Скрипт мониторинга логов

1. Создайте скрипт мониторинга: sudo nano /usr/local/bin/log-monitor.sh

2. Добавьте содержимое: LOG_DIR="/var/log" ALERT_EMAIL="admin@example.com" LOG_SIZE_LIMIT=100M for log_file in $(find $LOG_DIR -name "*.log" -type f); do size=$(du -h $log_file | cut -f1) if [[ $size > $LOG_SIZE_LIMIT ]]; then echo "ALERT: Large log file: $log_file ($size)" | mail -s "Log Alert" $ALERT_EMAIL fi done ERROR_COUNT=$(grep -c "ERROR\|FATAL\|CRITICAL" $LOG_DIR/syslog 2>/dev/null || echo "0") if [ $ERROR_COUNT -gt 10 ]; then echo "ALERT: High error count in syslog: $ERROR_COUNT" | mail -s "Error Alert" $ALERT_EMAIL fi if [ ! -f $LOG_DIR/syslog ]; then echo "ALERT: syslog file not found" | mail -s "Log Alert" $ALERT_EMAIL fi

3. Сделайте скрипт исполняемым: sudo chmod +x /usr/local/bin/log-monitor.sh

Скрипт анализа логов

1. Создайте скрипт анализа: sudo nano /usr/local/bin/log-analyzer.sh

2. Добавьте содержимое: HOUR_AGO=$(date -d "1 hour ago" "+%b %d %H") echo "=== Log Analysis for the last hour ===" echo "Time: $(date)" echo "" echo "Top IP addresses:" grep "$HOUR_AGO" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | head -10 echo "Top users:" grep "$HOUR_AGO" /var/log/auth.log | awk '{print $9}' | sort | uniq -c | sort -nr | head -10 echo "Error count:" grep -c "ERROR\|FATAL\|CRITICAL" /var/log/syslog echo "Warning count:" grep -c "WARNING\|WARN" /var/log/syslog

3. Сделайте скрипт исполняемым: sudo chmod +x /usr/local/bin/log-analyzer.sh

9. Настройка автоматической ротации =

Создание пользовательских правил

1. Создайте правило для пользовательских логов: sudo nano /etc/logrotate.d/custom

2. Добавьте содержимое: /var/log/custom/*.log { daily rotate 30 compress delaycompress missingok notifempty create 644 root root postrotate /bin/kill -HUP `cat /var/run/rsyslogd.pid 2>/dev/null` 2>/dev/null || true endscript }

Настройка cron для ротации

1. Добавьте задачу в crontab: sudo crontab -e

2. Добавьте строку: 0 2 * * * /usr/sbin/logrotate /etc/logrotate.conf

10. Устранение неполадок =

Частые проблемы

1. Логи не ротируются:

• Проверьте конфигурацию: sudo logrotate -d /etc/logrotate.conf
• Проверьте права доступа: ls -la /var/log/
• Проверьте cron: sudo systemctl status cron

2. Логи занимают много места:

• Проверьте правила ротации: cat /etc/logrotate.d/*
• Очистите старые логи: sudo find /var/log -name "*.log.*" -mtime +30 -delete
• Настройте более агрессивную ротацию

3. Логи не записываются:

• Проверьте статус rsyslog: sudo systemctl status rsyslog
• Проверьте права на файлы логов
• Проверьте конфигурацию rsyslog

Диагностика

1. Проверьте статус служб логирования: sudo systemctl status rsyslog sudo systemctl status systemd-journald

2. Проверьте конфигурацию logrotate: sudo logrotate -d /etc/logrotate.conf

3. Проверьте права доступа: ls -la /var/log/

4. Проверьте использование диска: du -sh /var/log/*

11. Оптимизация производительности =

Настройки производительности

1. Отредактируйте конфигурацию rsyslog: sudo nano /etc/rsyslog.conf

2. Добавьте настройки производительности: $WorkDirectory /var/spool/rsyslog $ActionQueueType LinkedList $ActionQueueFileName srvrfwd $ActionResumeRetryCount -1 $ActionQueueSaveOnShutdown on $ActionQueueMaxDiskSpace 1g $ActionQueueSize 10000

Мониторинг производительности

1. Создайте скрипт мониторинга производительности: sudo nano /usr/local/bin/log-performance.sh

2. Добавьте содержимое: echo "=== Log Performance Statistics ===" echo "Date: $(date)" echo "" echo "Log directory sizes:" du -sh /var/log/* | sort -hr echo "Number of log files:" find /var/log -name "*.log" -type f | wc -l echo "Logging services status:" systemctl is-active rsyslog systemctl is-active systemd-journald echo "Memory usage:" ps aux | grep -E "(rsyslog|journald)" | grep -v grep

3. Сделайте скрипт исполняемым: sudo chmod +x /usr/local/bin/log-performance.sh

12. Дополнительные возможности =

Настройка алертов

1. Создайте скрипт алертов: sudo nano /usr/local/bin/log-alerts.sh

2. Добавьте содержимое: ALERT_EMAIL="admin@example.com" LOG_FILE="/var/log/syslog" CRITICAL_COUNT=$(grep -c "CRITICAL\|FATAL" $LOG_FILE 2>/dev/null || echo "0") if [ $CRITICAL_COUNT -gt 0 ]; then echo "ALERT: Critical errors found: $CRITICAL_COUNT" | mail -s "Critical Log Alert" $ALERT_EMAIL fi FAILED_LOGINS=$(grep -c "Failed password" $LOG_FILE 2>/dev/null || echo "0") if [ $FAILED_LOGINS -gt 10 ]; then echo "ALERT: High number of failed logins: $FAILED_LOGINS" | mail -s "Security Alert" $ALERT_EMAIL fi LOG_SIZE=$(du -h $LOG_FILE | cut -f1) if [[ $LOG_SIZE > "100M" ]]; then echo "ALERT: Large log file: $LOG_FILE ($LOG_SIZE)" | mail -s "Log Size Alert" $ALERT_EMAIL fi

3. Сделайте скрипт исполняемым: sudo chmod +x /usr/local/bin/log-alerts.sh

4. Добавьте в crontab: */15 * * * * /usr/local/bin/log-alerts.sh

Заключение

Система логирования и ротации логов настроена! Теперь ваши логи организованы и автоматически управляются.

Для размещения ваших проектов с настроенным логированием на надежном хостинге рекомендуем воспользоваться услугами [ARK-HOSTER.RU](https://ark-hoster.ru):

• [Выделенные серверы](https://ark-hoster.ru/dedicated/) - для проектов с большими объемами логов
• [VPS/VDS серверы](https://ark-hoster.ru/vpsgame/) - для небольших и средних проектов

Наши специалисты помогут с настройкой логирования и обеспечением мониторинга вашего сервера!