Настройка логирования и ротации логов

Материал из ARK-HOSTER.RU | Документация хостинга
Перейти к: навигация, поиск

Содержание

Настройка логирования и ротации логов

1. Подготовка системы

  • Войдите в систему под учетной записью с правами root или пользователя с правами sudo.
  • Убедитесь, что у вас есть доступ к серверу через SSH или консоль.

2. Основы логирования в Linux

Система логирования

Linux использует несколько систем логирования:

  • systemd-journald - системные логи
  • rsyslog - традиционная система логирования
  • syslog-ng - альтернативная система логирования
  • logrotate - ротация логов

Основные директории логов

1. Системные логи: 

/var/log/syslog
/var/log/auth.log
/var/log/kern.log
/var/log/mail.log

2. Логи приложений: 

/var/log/apache2/
/var/log/nginx/
/var/log/mysql/
/var/log/postfix/

3. Логи systemd: 

journalctl

3. Настройка rsyslog

Установка и настройка

1. Установите rsyslog: 

sudo apt install rsyslog

2. Проверьте статус: 

sudo systemctl status rsyslog

3. Отредактируйте конфигурацию: 

sudo nano /etc/rsyslog.conf

Основная конфигурация

1. Настройте основные параметры: 

$ModLoad imuxsock
$ModLoad imklog
$ModLoad immark
$FileCreateMode 0640
$DirCreateMode 0755
$Umask 0022
$WorkDirectory /var/spool/rsyslog
$ActionQueueType LinkedList
$ActionQueueFileName srvrfwd
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on

Настройка правил логирования

1. Добавьте правила логирования: 

auth,authpriv.* /var/log/auth.log
kern.* /var/log/kern.log
mail.* /var/log/mail.log
cron.* /var/log/cron.log
*.info;mail.none;authpriv.none;cron.none /var/log/syslog
*.err /var/log/errors.log

4. Настройка systemd-journald

Основная конфигурация

1. Отредактируйте конфигурацию journald: 

sudo nano /etc/systemd/journald.conf

2. Настройте основные параметры: 

[Journal]
Storage=persistent
SystemMaxUse=1G
SystemMaxFileSize=100M
SystemMaxFiles=10
RuntimeMaxUse=100M
RuntimeMaxFileSize=10M
RuntimeMaxFiles=5
MaxRetentionSec=1month

3. Перезапустите journald: 

sudo systemctl restart systemd-journald

Управление журналами

1. Просмотрите все логи: 

sudo journalctl

2. Просмотрите логи за последний час: 

sudo journalctl --since "1 hour ago"

3. Просмотрите логи службы: 

sudo journalctl -u service_name

4. Просмотрите логи в реальном времени: 

sudo journalctl -f

5. Настройка logrotate

Основная конфигурация

1. Отредактируйте основной файл конфигурации: 

sudo nano /etc/logrotate.conf

2. Настройте основные параметры: 

weekly
rotate 4
create
dateext
compress
delaycompress
missingok
notifempty
include /etc/logrotate.d

Создание правил ротации

1. Создайте правило для системных логов: 

sudo nano /etc/logrotate.d/syslog

2. Добавьте содержимое: 

/var/log/syslog
{
daily
rotate 7
compress
delaycompress
missingok
notifempty
postrotate
/usr/lib/rsyslog/rsyslog-rotate
endscript
}

3. Создайте правило для Apache: 

sudo nano /etc/logrotate.d/apache2

4. Добавьте содержимое: 

/var/log/apache2/*.log
{
daily
rotate 14
compress
delaycompress
missingok
notifempty
create 644 root root
postrotate
/bin/kill -USR1 `cat /var/run/apache2.pid 2>/dev/null` 2>/dev/null || true
endscript
}

6. Настройка централизованного логирования

Настройка rsyslog сервера

1. Отредактируйте конфигурацию сервера: 

sudo nano /etc/rsyslog.conf

2. Добавьте настройки для приема логов: 

$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$template RemoteLogs,"/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log"
*.* ?RemoteLogs

3. Создайте директорию для удаленных логов: 

sudo mkdir -p /var/log/remote
sudo chown syslog:syslog /var/log/remote

Настройка rsyslog клиента

1. На клиентском сервере отредактируйте конфигурацию: 

sudo nano /etc/rsyslog.conf

2. Добавьте настройки для отправки логов: 

*.* @@log-server.example.com:514

3. Перезапустите rsyslog: 

sudo systemctl restart rsyslog

7. Настройка мониторинга логов

Установка и настройка ELK стека

1. Установите Elasticsearch: 

sudo apt install elasticsearch

2. Установите Logstash: 

sudo apt install logstash

3. Установите Kibana: 

sudo apt install kibana

Настройка Logstash

1. Создайте конфигурацию Logstash: 

sudo nano /etc/logstash/conf.d/syslog.conf

2. Добавьте содержимое: 

input {
file {
path => "/var/log/syslog"
type => "syslog"
}
}
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:message}" }
}
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}

8. Создание скриптов мониторинга

Скрипт мониторинга логов

1. Создайте скрипт мониторинга: 

sudo nano /usr/local/bin/log-monitor.sh

2. Добавьте содержимое: 

LOG_DIR="/var/log"
ALERT_EMAIL="admin@example.com"
LOG_SIZE_LIMIT=100M
for log_file in $(find $LOG_DIR -name "*.log" -type f); do
size=$(du -h $log_file | cut -f1)
if [[ $size > $LOG_SIZE_LIMIT ]]; then
echo "ALERT: Large log file: $log_file ($size)" | mail -s "Log Alert" $ALERT_EMAIL
fi
done
ERROR_COUNT=$(grep -c "ERROR\|FATAL\|CRITICAL" $LOG_DIR/syslog 2>/dev/null || echo "0")
if [ $ERROR_COUNT -gt 10 ]; then
echo "ALERT: High error count in syslog: $ERROR_COUNT" | mail -s "Error Alert" $ALERT_EMAIL
fi
if [ ! -f $LOG_DIR/syslog ]; then
echo "ALERT: syslog file not found" | mail -s "Log Alert" $ALERT_EMAIL
fi

3. Сделайте скрипт исполняемым: 

sudo chmod +x /usr/local/bin/log-monitor.sh

Скрипт анализа логов

1. Создайте скрипт анализа: 

sudo nano /usr/local/bin/log-analyzer.sh

2. Добавьте содержимое: 

HOUR_AGO=$(date -d "1 hour ago" "+%b %d %H")
echo "=== Log Analysis for the last hour ==="
echo "Time: $(date)"
echo ""
echo "Top IP addresses:"
grep "$HOUR_AGO" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | head -10
echo "Top users:"
grep "$HOUR_AGO" /var/log/auth.log | awk '{print $9}' | sort | uniq -c | sort -nr | head -10
echo "Error count:"
grep -c "ERROR\|FATAL\|CRITICAL" /var/log/syslog
echo "Warning count:"
grep -c "WARNING\|WARN" /var/log/syslog

3. Сделайте скрипт исполняемым: 

sudo chmod +x /usr/local/bin/log-analyzer.sh

9. Настройка автоматической ротации

Создание пользовательских правил

1. Создайте правило для пользовательских логов: 

sudo nano /etc/logrotate.d/custom

2. Добавьте содержимое: 

/var/log/custom/*.log
{
daily
rotate 30
compress
delaycompress
missingok
notifempty
create 644 root root
postrotate
/bin/kill -HUP `cat /var/run/rsyslogd.pid 2>/dev/null` 2>/dev/null || true
endscript
}

Настройка cron для ротации

1. Добавьте задачу в crontab: 

sudo crontab -e

2. Добавьте строку: 

0 2 * * * /usr/sbin/logrotate /etc/logrotate.conf

10. Устранение неполадок

Частые проблемы

1. Логи не ротируются:

  • Проверьте конфигурацию: 
    sudo logrotate -d /etc/logrotate.conf
  • Проверьте права доступа: 
    ls -la /var/log/
  • Проверьте cron: 
    sudo systemctl status cron

2. Логи занимают много места:

  • Проверьте правила ротации: 
    cat /etc/logrotate.d/*
  • Очистите старые логи: 
    sudo find /var/log -name "*.log.*" -mtime +30 -delete
  • Настройте более агрессивную ротацию

3. Логи не записываются:

  • Проверьте статус rsyslog: 
    sudo systemctl status rsyslog
  • Проверьте права на файлы логов
  • Проверьте конфигурацию rsyslog

Диагностика

1. Проверьте статус служб логирования: 

sudo systemctl status rsyslog
sudo systemctl status systemd-journald

2. Проверьте конфигурацию logrotate: 

sudo logrotate -d /etc/logrotate.conf

3. Проверьте права доступа: 

ls -la /var/log/

4. Проверьте использование диска: 

du -sh /var/log/*

11. Оптимизация производительности

Настройки производительности

1. Отредактируйте конфигурацию rsyslog: 

sudo nano /etc/rsyslog.conf

2. Добавьте настройки производительности: 

$WorkDirectory /var/spool/rsyslog
$ActionQueueType LinkedList
$ActionQueueFileName srvrfwd
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
$ActionQueueMaxDiskSpace 1g
$ActionQueueSize 10000

Мониторинг производительности

1. Создайте скрипт мониторинга производительности: 

sudo nano /usr/local/bin/log-performance.sh

2. Добавьте содержимое: 

echo "=== Log Performance Statistics ==="
echo "Date: $(date)"
echo ""
echo "Log directory sizes:"
du -sh /var/log/* | sort -hr
echo "Number of log files:"
find /var/log -name "*.log" -type f | wc -l
echo "Logging services status:"
systemctl is-active rsyslog
systemctl is-active systemd-journald
echo "Memory usage:"
ps aux | grep -E "(rsyslog|journald)" | grep -v grep

3. Сделайте скрипт исполняемым: 

sudo chmod +x /usr/local/bin/log-performance.sh

12. Дополнительные возможности

Настройка алертов

1. Создайте скрипт алертов: 

sudo nano /usr/local/bin/log-alerts.sh

2. Добавьте содержимое: 

ALERT_EMAIL="admin@example.com"
LOG_FILE="/var/log/syslog"
CRITICAL_COUNT=$(grep -c "CRITICAL\|FATAL" $LOG_FILE 2>/dev/null || echo "0")
if [ $CRITICAL_COUNT -gt 0 ]; then
echo "ALERT: Critical errors found: $CRITICAL_COUNT" | mail -s "Critical Log Alert" $ALERT_EMAIL
fi
FAILED_LOGINS=$(grep -c "Failed password" $LOG_FILE 2>/dev/null || echo "0")
if [ $FAILED_LOGINS -gt 10 ]; then
echo "ALERT: High number of failed logins: $FAILED_LOGINS" | mail -s "Security Alert" $ALERT_EMAIL
fi
LOG_SIZE=$(du -h $LOG_FILE | cut -f1)
if [[ $LOG_SIZE > "100M" ]]; then
echo "ALERT: Large log file: $LOG_FILE ($LOG_SIZE)" | mail -s "Log Size Alert" $ALERT_EMAIL
fi

3. Сделайте скрипт исполняемым: 

sudo chmod +x /usr/local/bin/log-alerts.sh

4. Добавьте в crontab: 

*/15 * * * * /usr/local/bin/log-alerts.sh

Заключение

Система логирования и ротации логов настроена! Теперь ваши логи организованы и автоматически управляются.

Для размещения ваших проектов с настроенным логированием на надежном хостинге рекомендуем воспользоваться услугами [ARK-HOSTER.RU](https://ark-hoster.ru):

Наши специалисты помогут с настройкой логирования и обеспечением мониторинга вашего сервера!

Источник — «https://wiki.ark-hoster.ru/index.php?title=Настройка_логирования_и_ротации_логов&oldid=1523»