Bonjour, je suis sous Apache 1.3 (FreeBSD 4.11) et je cherche une solution
pour gérer les logs afin de proposer des stats de connexion sur les sites
que j'héberge.

Il s'agit une machine virtuelle sur laquelle un certain nombre de produits
sont préinstallés, incluant des stats pour chaque site (webalizer).
Pour des raisons qu'il serait trop long d'expliquer ici je dois mettre en
oeuvre une gestion personnelle des stats sur 2 sites spécifiques.

En prévision j'avais, lors de l'ouverture des sites, désactivé la rotation
des logs d'origine et j'ai conservé tous les accès dans 2 fichiers
access.log

Comme ces fichiers commencent à grossir pas mal et que mon espace disque
est limité par un quota (1GO) je suis en train d'essayer de trouver une
solution pour :

- disposer uniquement dans l'historique des logs des 2 derniers mois, les
accès plus anciens étant purgés - la taille des logs restait ainsi plus ou
moins prévisibles - la fréquentation des sites étant stable - en tout cas
je ne me retrouverai pas avec un log de 300M au bout de 8 mois

- exécuter une tâche cron chaque semaine pour produire les stats qui me
conviennent avec webalizer

Mon problème ne vient pas de webalizer mais de la gestion des rotations des
logs :

- quel outil utiliser pour que cette rotation purge le contenu des logs de
tous les accès antérieurs à deux mois ?
- comment prendre en compte le fichier log actuel ?

J'ai regardé du côté de rotatelogs avec une ligne de conf apache qui serait
comme suit :

CustomLog "|/usr/bin/rotatelogs /vhosts/monsite.fr/logs/access.log 604800"
combined



Que va-t-il se passer ? Chaque semaine une rotation va avoir lieu
d'accord... Mais comment rotatelogs va traiter le fichier access.log actuel
? Son contenu va-t-il être détruit ?
Est-ce que le nombre de fichiers logs en rotation est prédéfini ou bien des
fichiers access.NNN.log vont-ils être crées à l'infini (auquel cas j'aurais
donc besoin d'une tâche cron qui détruirait tout fichier log.NNN dont .NNN
est supérieure à 8 (2 mois)


Vos avis, éclaircissements et conseils sont les bienvenus


Merci

À (at) 12 Jul 2005 12:06:21 GMT,
Zouplaz <noba@no.inval> écrivait (wrote):
> Bonjour, je suis sous Apache 1.3 (FreeBSD 4.11) et je cherche une solution
> pour gérer les logs afin de proposer des stats de connexion sur les sites
> que j'héberge.
[...]
> En prévision j'avais, lors de l'ouverture des sites, désactivé la rotation
> des logs d'origine et j'ai conservé tous les accès dans 2 fichiers
> access.log

À ma connaissance, il n'y a rien de prévu d'origine ni dans Apache ni
dans FreeBSD (si ce n'est la rotation du fichier de log générique mais
ce fichier ne devrait pas être utilisé surtout si il y a des hosts
virtuels).

> Mon problème ne vient pas de webalizer mais de la gestion des rotations des
> logs :
>
> - quel outil utiliser pour que cette rotation purge le contenu des logs de
> tous les accès antérieurs à deux mois ?
> - comment prendre en compte le fichier log actuel ?

Pour la rotation de log (en général), FreeBSD propose tout ce qu'il
faut dans 'newsyslog.conf' (man newsyslog). On peut par ce biais fixer
les rotations en combinant des critères de taille et de date par
exemple (ce qui est conseillé pour un serveur Web qui n'a peut-être
pas beaucoup de traffic mais peut subir de grosses attaques
parfois). On spécifie aussi le nombre de logs à conserver avant de
jeter les plus anciens. Il permet aussi de spécifier à quel service
envoyer un signal lors des rotations.

Je pense que votre limite de deux mois est purement arbitraire et ne
peut pas être garantie: en cas d'attaques conséquentes vous ne pourrez
pas garder deux mois de logs.

Par contre un bon outil d'analyse (webalizer peut-être) ne se base que
sur les dernières lignes de logs (celles qu'il n'a pas encore vues) et
conserve ses propres informations par ailleurs (sur une semaine, un
mois, un an ou plus...). Ce n'est en tous cas pas lié à la rotation
des logs.

Sur mes serveurs, en général, je paramètre newsyslog pour qu'il fasse
une rotation toutes les 24 heures ou tous les 10Mo (pour éviter de
remplir la partition de logs) et je conserve 7 fichiers (pour analyse
éventuelle en cas de problème technique). Par ailleurs, je lance
régulièrement mon analyseur de logs sur le dernier fichier archivé
(pas celui en cours de remplissage mais celui numéroté .0). L'analyse
de mes logs n'a donc que 24h de retard au plus. Évidemment cette durée
et cette taille limite dépendent fortement du traffic du site.

--
Paul Gaborit - <http://perso.enstimac.fr/~gaborit/>

Paul Gaborit <Paul.Gaborit@invalid.invalid> wrote in
news:r7r7e4i4cx.fsf@vaugirard.enstimac.fr:

> Pour la rotation de log (en g‚n‚ral), FreeBSD propose tout ce qu'il
> faut dans 'newsyslog.conf' (man newsyslog). On peut par ce biais fixer
> les rotations en combinant des critŠres de taille et de date par
> exemple (ce qui est conseill‚ pour un serveur Web qui n'a peut-ˆtre
> pas beaucoup de traffic mais peut subir de grosses attaques
> parfois). On sp‚cifie aussi le nombre de logs … conserver avant de
> jeter les plus anciens. Il permet aussi de sp‚cifier … quel service
> envoyer un signal lors des rotations.

Merci du tuyau newsyslog répond complètement à mon besoin, j'ai plus qu'à
paramétrer la bestiole.
Et il est vrai qu'avec l'utilisation du mode incrémental de webalizer la
limite arbitraire de 2 mois ne sert à rien.