Présentation du produit

Lightsquid est un analyseur de le log SQUID open source écrit en perl permettant d’afficher sous forme de page web l’utilisation de son proxy. Avec ce soft, nous pouvons visualiser les sites les plus utilisé, les sites qui utilise le plus de bande passante, les utilisateurs qui se sont connecté à ces sites… 

Voici la liste de ses fonctionnalités :

• Rapide et simple à installer
• Analyseur syntaxique des logs rapide
• perl basé sur des script cgi pour générer des pages de rapport dynamiquement
• Template html pour le design
• Pas besoin de base de données
• Pas besoin de module perl supplémentaire
• Rapport variés
• Support des groupes d’utilisateurs
• Rapport sous forme de graphique (v 1.6+)
• Nom réel (v 1.6+)
• interface multi langages

Pré-requis :

J’adore cet analyseur de log squid. Pour moi, c’est le meilleur de toute la panoplie SARG, mySARG… Il y a des fonctionnalités que je n’ai pas présenté comme la gestion des groupes et les noms réels des utilisateurs. Vous retrouverez des explications sur le site de l’éditeur : http://lightsquid.sourceforge.net.

Si vous voulez fournir des statistiques personnalisés pour vos clients, il suffit de faire un traitement sur le fichier access.log avant le parsing par exemple un grep –E.

Aller, bon courage!!

Logrotate permet de faire la rotation des fichiers logs automatiquement. Celui contient de nombreuses options permettant choisir le fonctionement de la rotation. Logrotate est installé par défaut sur l’ensemble des distributions Linux (Enfin je pense).

Pour s’exécuter, il est lancer tous les jours par le cron. Nous allons à présent voir comment l’utiliser.

Configuration :

Le fichier de configuration par défaut est /etc/logrotate.conf

Nous retrouvons le script de lancement automatique dans : /etc/cron.daily/logrotate

Les fichiers particuliers se trouvent dans /etc/logrotate.d/

Voici le contenu de mon fichier de configuration /etc/logrotate.conf :

# see « man logrotate » for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# no packages own wtmp — we’ll rotate them here
/var/log/wtmp {
monthly
minsize 1M
create 0664 root utmp
rotate 1
}

Ce qui va être important dans ce fichier est la ligne en rouge car c’est elle qui va dire à logrotate de regarder l’ensemble des fichiers conf dans /etc/logrotate.d.

Maintenant, nous allons voir comment paramétrer logrotate pour effectuer la rotation d’un fichier log en particulier.

Exemple :

Créer un fichier du nom de votre service (pour mémo) dans le répertoire /etc/logrotate.d. Nous allons prendre pour exemple le service postfix :

vi /etc/logrotate.d/postfix

Saisissez ces quelques lignes :

/var/log/maillog {
daily
missingok
rotate 52
compress
delaycompress
notifempty
create 640 root
sharedscripts
postrotate
if [ -f /var/run/postfix.pid ]; then
/etc/init.d/postfix reload > /dev/null
fi
endscript
}

/var/log/maillog : Correspond au fichier log à utiliser

daily : La rotation s’effectuera tous les jours. Nous pouvons aussi mettre weekly pour toutes les semaines , monthly pour tous les mois.

missingok : signifie que l’absence du/des fichier(s) log(s) n’est pas anormale. Si cette option n’est pas active alors l’administrateur recevra un mail si le/les log(s) est/sont manquant(s).

rotate 52: Nous garderons 52 fichiers. Soit pour mon cas, 52 jours de logs

compress : Les fichiers logs secondaire c’est à dire tout ce qui n’est pas le fichier de log principal seront compréssés.

delaycompress : Reporte la compression du journal précédent au prochain cycle de permutation. Ceci n’a un effet qu’utilisé en combinaison avec l’option compress. Elle peut être utilisée quand il n’est pas possible de demander à un programme de fermer son journal et qu’il puisse par conséquent continuer à écrire pour un moment dans le journal précédent.

notifempty: permet de ne pas permuter le journal lorsqu’il est vide

create 640 root : Les fichiers secondaire créés auront pour créateur root et auront les droits 640

postrotate/endscript : Les lignes entre prerotate et endscript (chacun devant apparaître sur une ligne isolée) sont exécutées avant permutation du journal. Ces directives doivent apparaîtrent dans la définition d’un journal

sharedscripts : permet d’executer qu’ une fois le script postrotate par rotation

Vous pouvez voir le man en français à cette adresse :  http://www.delafond.org/traducmanfr/man/man8/logrotate.8.html

Execution :

Une fois que vous avez fini de configurer votre logrotate, vous pouvez forcer sont éxecution de cette manière :

logrotate -f  /etc/logrotate.conf

Pour débugger :

logrotate -d /etc/logrotate.conf

Attention : Pour utiliser ces commandes, il faut être en administrateur du domaine.

Voici quelques commandes que j’ai utilisé :

PsExec :

PsExec est un substitut léger à Telnet qui vous permet d’exécuter des processus sur d’autres systèmes, avec une interactivité totale pour les applications de console, sans avoir à installer manuellement le logiciel client. Les utilisations de PsExec les plus puissantes incluent le lancement d’invites de commande interactives sur des systèmes distants et des outils activables à distance, tels qu’IpConfig qui sinon n’ont pas la possibilité d’afficher les informations sur les systèmes distants.

Lien vers le manuel : http://technet.microsoft.com/fr-fr/sysinternals/bb897553.aspx

Executer un script à distance :

psexec \\poste_distant -c commande_et-argument

Exemple :

psexec \\192.168.0.1 –c KK.exe –r –t

Ici, psexec va copier l’executable sur le poste distant et l’exécuter avec ses arguments.

Ouvrir un invite de commande à distance :

psexec \\192.168.0.1 cmd

PsList :

PsList permet de lister les processus d’un poste à distance

Lien vers le manuel : http://technet.microsoft.com/fr-fr/sysinternals/bb896682.aspx

Lister tous les processus :

pslist \\poste_distant

Filtrer par processus :

pslist \\poste_distant nom_du_processus

PsKill :

Lien vers le manuel : http://technet.microsoft.com/fr-fr/sysinternals/bb896683.aspx

Pskill permet d’arrêter des processus sur des systèmes distants. Vous n’avez même pas à installer un client sur l’ordinateur cible pour utiliser PsKill afin terminer un processus à distance.

pskill \\poste_distant nom_du_processus

exemple :

pskill \\192.168.0.1 rundll32

Cette commande va se connecter au poste distant et tuer tout les processus qui se nomment rundll32

Il existe plein d’outils super intéressant sur ce site http://technet.microsoft.com/fr-fr/sysinternals.

Connectez-vous avec le client mysql en ligne de commande et tapez :

SHOW PROCESS-LIST

Cette commande est utile lorsque vous avez l’erreur “Too many connection”

1ere méthode :

Cette commande permet de retrouver le processus qui utilise un point de montage, un répertoire, un fichier. Elle est très utile lorsque vous n’arrivez pas à démonter un FS.

fuser -m file_system

Exemple pour un répertoire :

[root@linux /]# fuser -m /www
/www:                12523m 12524m 12565m 12566m 12567m 12568m 12572m
[root@linux /]# ps -ef | grep 12523
apache   12523 12520  0 13:31 ?        00:00:00 /usr/local/apache/bin/httpd
root     12660 11040  0 13:40 pts/0    00:00:00 grep 12523

Exemple avec un fichier :

[root@lnx2615 /]# fuser -m /usr/local/apache/conf/httpd.conf
/usr/local/apache/conf/httpd.conf:  6459e  6505e  6554m  6557m  6558m  6559m  6560m  6561m  6594m  6595m  6646m  6647m  6773e  6787e  6957e  6966e  6976e  6985e  7015e  7024e  7111m  7162e  7197m  7398m  7485m  7516m  7539m 11038e 11040m 12520 12520e 12523 12523e 12524 12524e 12525 12525e 12527 12527e 12542e 12561e 12565 12565e 12566 12566e 12567 12567e 12568 12568e 12572 12572e 12649 12649e 12667m 15610e 18148e 25262e 25342m 25343m 25379m 25380m 25381m 25382m 25384m 25385m 25395m 25403 25403c 25403e 25419m 25463m 25464m 25465m 25468e 25603e 26748e 26812m

Nous pouvons utiliser cette commande pour tuer tous les processus lié à un FS automatiquement :

fuser -km /www

Personnellement, je ne l’ai pas encore testé. A utiliser avec précaution.

2ème méthode :

La commande lsof permet de connaître tous les fichiers ouverts.

lsof | grep ‘partition ou point de montage’

Exemple :

[root@linux /]# lsof | grep /www
httpd     12523   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12524   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12525   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12527   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12565   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12566   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12567   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12568   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12572   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo
httpd     12649   apache  mem    REG       58,1     33099    639057 /www/site/locale/fr_FR/LC_MESSAGES/horde.mo

Ici, nous pouvons voir que le processus http avec le PID 12523 a ouvert le fichier "/www/site/locale/fr_FR/LC_MESSAGES/horde.mo". Ainsi, le point de montage /www est utilisé.

Autres

Si vous n’arrivez pas à démonter une partition et que la commande fuser ne remonte rien, vérifiez qu’un autre point de montage ne se trouve pas à l’interieur de celui-ci.

Exemple :

[root@lnx2620 /]# df
SysFichier           1K-blocs    Utilisé Dispo.   Util% Monté sur
/dev/sda7              1035660    824064    158988  84% /
/dev/sda3                62217     15424     43580  27% /boot
none                   1030712         0   1030712   0% /dev/shm
/dev/datavg/lvol2     16415656  13481436   2100276  87% /www
/dev/datavg/lvol6      2064208     32832   1926520   2% /www/ftp

ici le point de montage /www/ftp se trouve dans /www. il faudra donc démonter /www/ftp en premier.

du -hs repertoire

Awstat permet d’avoir des statistiques détaillés sur l’utilisation d’apache, des serveurs ftp, postfix … Il utilise les fichiers logs des services réseau.

Le fichier conf doit avoir ces paramètres pour qu’il puisse parser les logs de type XFER :

LogFile= »/var/log/xferlog »
LogType=F
LogFormat= »%time3 %other %host %bytesd %url %other %other %method %other %logname %other %code %other %other »
LogSeparator= »s »
NotPageList= »"
LevelForBrowsersDetection=0
LevelForOSDetection=0
LevelForRefererAnalyze=0
LevelForRobotsDetection=0
LevelForWormsDetection=0
LevelForSearchEnginesDetection=0
ShowLinksOnUrl=0
ShowMenu=1
ShowSummary=UVHB
ShowMonthStats=UVHB
ShowDaysOfMonthStats=HB
ShowDaysOfWeekStats=HB
ShowHoursStats=HB
ShowDomainsStats=HB
ShowHostsStats=HBL
ShowAuthenticatedUsers=HBL
ShowRobotsStats=0
ShowEMailSenders=0
ShowEMailReceivers=0
ShowSessionsStats=1
ShowPagesStats=PBEX
ShowFileTypesStats=HB
ShowFileSizesStats=0
ShowBrowsersStats=0
ShowOSStats=0
ShowOriginStats=0
ShowKeyphrasesStats=0
ShowKeywordsStats=0
ShowMiscStats=0
ShowHTTPErrorsStats=0
ShowSMTPErrorsStats=0

Le format du fichier log doit être de ce type :

Wed Jan 01 19:29:35 2001 1 192.168.1.1 102 /home/file1.txt b _ o r username ftp 0 * c

La fonction ext2online de Rhel4 a été intégré à resize2fs. C’est à dire que resize2fs peut à présent étendre un file system à chaud de cette manière :

resize2fs /dev/VolGroup/LogicalVolume

exemple :

lvextend -L +1024M /dev/VolGroup00/LvolCVS

resize2fs /dev/VolGroup00/LvolCVS

Préparer la partition avec pvcreate :

pvcreate /dev/sda3

Etendre le volume group :

vgextend nom_volume_group partition_a_ajouter

Exemple :

vgextend Volgroup00 /dev/sda3

Il existe plusieurs moyen d’administrer une base ou un serveur mysql. Le plus connu est phpmyadmin qui permet à partir d’un serveur web d’administrer sa base mysql ( Gestion des comptes utilisateurs, création de base…)

Il existe aussi quelques client lourd qui effectuent les mêmes opération voir plus tel que toad for mysql et SQLyog.

Toad for mysql est téléchargeable à cet emplacement : http://www.toadsoft.com/toadmysql/FreewareDownload.htm

En case de problème, vous pouvez aller sur ce site : http://www.toadworld.com/

SQLyog :

Site officiel : http://www.webyog.com/en/

Téléchargement : http://www.clubic.com/telecharger-fiche10963-sqlyog.html