Catégorie : Open-source

Catégories
Open-source Reseau Web

Simuler des connexions HTTP/FTP simultanées

Curl-Loader est un logiciel libre, écrit en langage C (le meilleur langage pour développer des applications réseaux), permettant de simuler sur votre serveur WEB ou FTP un grand nombre de connexions simultanées. Nous allons dans ce billet voir comment installer, configurer et tester ce logiciel dans un environnement GNU/Linux (Ubuntu 9.10 dans mon cas).

Installation de Curl-Loader

Comme il n’est pas encore (des volontaires ?) disponible dans les dêpots officiels, il va falloir compiler Curl-Loader à la main. Avant d’aller plus loin, on installe des pré-requis système:

[shell]

sudo aptitude install build-essential openssl libssl-dev

[/shell]

On commence par récupérer la dernière version disponible (0.51 au moment de l’écriture de ce billet):

[shell]

wget http://downloads.sourceforge.net/project/curl-loader/curl-loader/curl-loader-0.51/curl-loader-0.51.tar.gz?use_mirror=sunet

[/shell]

On décompresse et compile le tout:

[shell]

tar zxvf curl-loader-0.51.tar.gz

cd curl-loader-0.51

make optimize=1

[/shell]

On finalise l’installation avec:

[shell]

sudo make install

[/shell]

Configuration de Curl-Loader

Tout est centralisé dans un fichier de configuration. Quelques exemples de fichiers de conf sont fournis avec les sources dans le répertoire ./conf-exemples/.

Le plus simple est de partir du fichier ./conf-exemples/bulk.conf:

[shell]

cp ./conf-exemples/bulk.conf ~/curlloader.conf

cd ~

[/shell]

On édite le fichier pour l’adapter à son besoin (documentation exhaustive disponible sur le site officiel) :

[shell]

vi curlloader.conf

[/shell]

[shell]

########### GENERAL SECTION ################################

BATCH_NAME= bulk

CLIENTS_NUM_MAX=200

CLIENTS_RAMPUP_INC=5

INTERFACE=eth0

NETMASK=24

IP_ADDR_MIN= 192.168.29.148

IP_ADDR_MAX= 192.168.29.148

IP_SHARED_NUM=1

CYCLES_NUM= 100

URLS_NUM= 1

########### URL SECTION ####################################

URL=http://www.monserveurweb.com/

URL_SHORT_NAME="MonServeurWeb"

REQUEST_TYPE=GET

TIMER_URL_COMPLETION = 5000

TIMER_AFTER_URL_SLEEP = 500

[/shell]

Utilisation de Curl-Loader

Attention à ne lancer Curl_Loader que vers un serveur qui vous appartient.
Dans le cas contraire, cela peut être considéré comme une attaque par dénie de service !

Il ne reste plus qu’a lancer Curl-Loader avec ce fichier de configuration:

[shell]

sudo curl-loader -f ~/curlloader.conf

[/shell]

Que va faire l’exécution de Curl-Loader avec notre fichier de configuration ?

On commence un cycle en envoyant sur le réseau 5 (CLIENTS_RAMPUP_INC) requêtes simultanées vers le serveur Web d’URL http://www.monserveurweb.com/(URL), puis 1 seconde plus tard, 5 requêtes de plus et ainsi de suite jusqu’à 200 (CLIENTS_NUM_MAX) requêtes simultanées. A la fin de ce cycle, on continu jusqu’à attendre le 100em cycle (CYCLES_NUM).

A la fin du test on a les informations suivantes qui s’affichent:

[shell]

Test total duration was 54 seconds and CAPS average 231:

H/F Req:24665,1xx:0,2xx:12332,3xx:12333,4xx:0,5xx:0,Err:0,T-Err:1,D:1ms,D-2xx:3ms,Ti:1343807B/s,To:56181B/s

H/F/S Req:0,1xx:0,2xx:0,3xx:0,4xx:0,5xx:0,Err:0,T-Err:0,D:0ms,D-2xx:0ms,Ti:0B/s,To:0B/s

Exited. For details look in the files:

– bulk.log for errors and traces;

– bulk.txt for loading statistics;

– bulk.ctx for virtual client based statistics.

– bulk.ops for operational statistics.

[/shell]

Pour la le lecture des rapports, voici un petit mémento:

  • CAPS=call attempts per seconds;
  • run-time in seconds;
  • requests num;
  • 1xx success num;
  • 2xx success num;
  • 3xx redirects num;
  • client 4xx errors num;
  • server 5xx errors num;
  • other errors num, like resolving, tcp-connect, server closing or empty responses number (Err);
  • url completion time expiration errors (T-Err);
  • average application server Delay (msec), estimated as the time between HTTP request and HTTP response without taking into the account network latency (RTT) (D);
  • average application server Delay for 2xx (success) HTTP-responses, as above, but only for 2xx responses. The motivation for that is that 3xx redirections and 5xx server errors/rejects may not necessarily provide a true indication of a testing server working functionality (D-2xx);
  • throughput in, batch average, Bytes/sec (T-In);
  • throughput out, batch average, Bytes/sec (T-Out);
Catégories
Open-source Web

Firefox 3.7 sous Ubuntu (dépôts)

Après Firefox 3.6.5, c’est la version 3.7 qui prendra le relai des navigateurs Web de Mozilla.  Selon PC INpact, la principale nouveauté de cette version est l’intégration de la technologie d’Electrolysis:

 » Electrolysis a pour objectif principal de permettre à Firefox l’utilisation de tous les cœurs disponibles dans la machine. La grande majorité des machines vendues aujourd’hui dispose d’au moins deux cœurs d’exécution, sinon quatre. Le navigateur ne peut en utiliser qu’un seul. Ainsi, lors de l’affichage de certaines pages, la charge peut grimper à 100 % et déclencher la pleine vitesse du ventilateur, en particulier dans un ordinateur portable. »

Il est déjà possible de tester cette nouvelle version (qui est actuellement en développement) sous son système d’exploitation GNU/Linux Ubuntu en suivant la procédure suivante.

On commence par ajouter le dépôts PPA officiel (les « daily builds » de Mozilla):

[shell]

sudo add-apt-repository ppa:ubuntu-mozilla-daily

sudo aptitude update

[/shell]

Ensuite on installe Firefox 3.7 (qui peut cohabiter avec des versions antérieures) avec la commande:

[shell]

sudo aptitude install firefox-3.7

[/shell]

Il ne reste plus qu’a lancer le navigateur en allant dans le menu « Applications » (Internet/Minefield 3.7 Web Browser) ou en ouvrant un terminal et en lancant la commande:

[shell]

firefox-3.7

[/shell]

Et voilà le travail !

Catégories
Open-source Reseau

MRTG, un tutoriel simple et rapide

Si vous suivez ce blog, vous devez sûrement connaitre Cacti, l’outil permettant de générer des graphes visualisation via une interface HTML/PHP. La solution, bien que simple à mettre en oeuvre nécessite quelques manipulations. Nous allons voir dans ce billet une autre solution beaucoup moins lourde et simple à mettre en oeuvre: MRTG. Nous nous limiterons à la génération de graphes représentant la bande passante des interfaces réseau mais l’on peut bien sûr « grapher » toutes les mesures récupérables via SNMP. La machine qui hébergera notre MRTG est sous Unbuntu 9.10 (mais la procédure est globalement la mêmes sur les autres distribution GNU/Linux).

Lire la suite « MRTG, un tutoriel simple et rapide »

Catégories
Open-source Reseau

Ntop et la supervision réseau via Netflow/IPFix

NTop est un outil libre (licence GPL) de supervision réseau permettant d’afficher en temps réel les informations collectées dans une interface Web. Pour effectuer cette collecte, NTop se base sur la librairie libpcap (du projet TCPDump) pour capturer les flux transitant sur les interfaces réseau de la machine ou est installé le logiciel. Les dernières versions de NTop permettent également de collecter des informations venant de machines distantes grâce aux protocoles SNMP et Netflow/IPfix. C’est sur ce dernier point que nous allons nous focaliser dans ce billet.

Lire la suite « Ntop et la supervision réseau via Netflow/IPFix »
Catégories
Nagios Open-source

Superviser l’espace disque avec Nagios via SNMP

Disque dur

Voici une méthode simple rapide et efficace (enfin plus rapide à mettre en place que NRPE) pour surveiller l’espace disque disponible de ses machines Linux/BSD/Windows à partir de Nagios en utilisant le protocole SNMP.

Les pré-requis sont les suivants:

  • avoir un Nagios correctement installé
  • la machine à surveiller doit héberger un serveur SNMP dont la configuration permette au serveur Nagios de lire les informations (l’accès read-only v1/v2 de SNMP est suffisant)
  • suivre la suite de ce billet 😉

Configuration de la machine à surveiller

Après avoir installé et configuré son serveur SNMP, il faut ajouter la ligne suivante au fichier de configuration snmpd.conf (la localisation de ce dernier est os dépendant):

[shell]
disk / 100000
[/shell]

PS: le deuxième paramètre permet de fixer le seuil en dessous duquel une alerte SNMP est remontée. Il n’est pas très important pour nous car c’est Nagios qui va générer cette alerte avec nos propres valeurs.

On doit bien sûr relancer le service snmpd pour lire la configuration, par exemple:

[shell]
/etc/init.d/snmpd restart
[/shell]

Configuration du serveur Nagios

La première chose à faire est de vérifier que l’on arrive bien à récupérer les informations SNMP sur la machine à surveiller (d’adresse IP 192.168.0.200 dans notre exemple). Pour cela on peut utiliser la commande suivante:

[shell]
snmpget -v 1 -c public 192.168.0.200 .1.3.6.1.4.1.2021.9.1.9.1
UCD-SNMP-MIB::dskPercent.1 = INTEGER: 32
[/shell]

La commande a réussi. On a bien récupéré la valeur 32 par SNMP. Donc On a 32% d’espace disque occupé sur le disque de la machine 192.168.0.200.

On configure Nagios de la manière suivante, on édite le fichier commands.cfg:

[shell]
#################
# check_snmp_disk
#################

# Check free disk space using SNMP (add the "disk 1000000" line to the snmpd.conf)

define command{

command_name check_snmp_disk

command_line $USER1$/check_snmp -H $HOSTADDRESS$ -o .1.3.6.1.4.1.2021.9.1.9.1 -C $ARG1$ -w $ARG2$ -c $ARG3$ -u "% used"

}
[/shell]

Puis on configure le service pour la machine à surveiller (dans un autre fichier comme par exemple services.cfg):

[shell]

define service{
use generic-service
host_name Ma_Machine_192.168.0.200
service_description DISK SPACE
check_command check_snmp_disk!public!90!95
}

[/shell]

La fonction check_snmp_disk prend 3 paramètres:

  • le nom de la communauté SNMP (public)
  • le seuil au dessus duquel un warning est généré par Nagios (90%)
  • le seuil au dessus duquel un error est généré par Nagios (95%)

Il ne reste plus qu’a relancer Nagios pour prendre en compte la configuration !

Catégories
Open-source Web

Pour soutenir la « Quadrature du net »

Vous connaissez tous la « Quadrature du net », cette association qui lute contre les lois menaçant nos libertés individuelles dans le monde numérique (notamment Hadopi, LOPPSI…). Comme toute assoc, elle a des frais que seule votre générosité peut combler…

La « Quadrature du net » lance donc une campagne de dons (via Paypal ou par chèque). Si vous êtes sensible à leurs actions, je vous recommande de donner quelques-uns de vos chers €uros…

A votre bon coeur…

Vive le libre, vive la liberté !

Catégories
Open-source Reseau

10 logiciels libres pour analyser son réseau

Nous allons dans ce billet étudier quelques outils réseaux open-source qui peuvent être utiles pour analyser un trafic sur un réseau IP (la liste est loin d’être exhaustive mais il est difficile de l’être vu le sujet). Cette analyse peut avoir pour but de caractériser un flux et notamment son débit, les délais de transit/gigue et les éventuelles corruptions de paquets.

Lire la suite « 10 logiciels libres pour analyser son réseau »
Catégories
Open-source Reseau

Installation d’une sonde NetFlow sous FreeBSD

Nous allons dans ce billet voir comment installer une sonde Netflow (protocole propriétaire de Cisco) sur une machine FreeBSD. On pourra ensuite collecter les mesures des flux réseaux transitant par notre machine BSD et les remonter à un collecteur avant analyse. Pour en savoir plus sur le protocole Netflow, je vous conseille la lecture de ce billet.

Nous allons utiliser la sonde libre fProbe qui a le bon goût d’être disponible dans les dépôts de FreeBSD.

Installation de fProbe

On installe le logiciel fProbe (version 1.1 au moment de l’écriture de ce billet):

[shell]
pkg_add -r fprobe
[/shell]

Utilisation de fProbe

Imaginons que votre routeur sous FreeBSD est 2 interfaces réseaux (ce qui est un minimum pour un routeur…): em0 et em1. em0 est votre interface coté LAN et em1 celle coté WAN. Pour capturer les flux transitant sur l’interface WEN et remonté via le protocole NetFlow (sur le port UDP/9991) les mesures vers une machine collecteur ayant pour adresse IP 192.168.0.100, il faut saisir la ligne de commande suivante:

[shell]
fprobe -i em1 -f ip 192.168.0.100:9991
[/shell]

Il est ensuite facile de récupérer les mesures sur la machine 192.168.0.100 en installant NFDump ou en utilisant NTop et son plugin NetFlow.

Vous pouvez bien évidemment lancer autant de sonde fprobe que nécessaire (par exemple si votre routeur dispose de plusieurs interfaces à surveiller).

Il est également possible d’envoyer les mesures Netflow à plusieurs collecteurs. Pour celà il faut ajouter les couples adresse IP/port UDP à la ligne de commande. Dans ce cas, il faut modifier le script de démarrage de la manière suivante:

[shell]
vi /usr/local/etc/rc.d/fprobe

#!/bin/sh

#

# $FreeBSD: ports/net-mgmt/fprobe/files/fprobe.sh.in,v 1.1 2006/11/24 07:23:24 clsung Exp $

#

# PROVIDE: fprobe

# REQUIRE: NETWORKING

# KEYWORD: shutdown

# Add the following lines to /etc/rc.conf to enable fprobe:

#

#fprobe_enable="YES"

#

# See fprobe(8) for fprobe_flags

#

. "/etc/rc.subr"

name="fprobe"

rcvar=`set_rcvar`

command="/usr/local/sbin/fprobe"

command_args1="-i em0 -f ip 192.168.0.100:9990"

command_args1="-i em4 -f ip 192.168.0.100:9994"

pidfile="/var/run/$name.pid"

load_rc_config "$name"

: ${fprobe_enable="NO"}

start_cmd="echo \"Starting ${name}."\; ${command} ${command_args1}; ${command} ${command_args2}"

run_rc_command "$1"

[/shell]

Quand vous avez validé votre chaine de mesure (sonde / collecteur), vous pouvez automatiser le lancement de la sonde en modifiant le fichier /usr/local/etc/rc.d/fprobe pour l’adapter à vos besoins et ajouter la ligne suivante au fichier /etc/rc.conf:

[shell]

fprobe_enable="YES"

[/shell]

Catégories
Developpement Open-source Systeme Web

Installation de Bugzilla sur GNU/Linux Ubuntu

Bugzilla et un outil de suivi de bug (bug tracking system) permettant à une communauté d’utilisateur de logger, suivre et traité les bugs d’un système/logiciel. Bugzilla est utilisé pour le suivi de nombreux logiciels libre: Mozilla, Kernel Linux, Gnome, KDE, Apache, Open Office, Eclipse…

Lire la suite « Installation de Bugzilla sur GNU/Linux Ubuntu »
Catégories
Developpement Nagios Open-source Reseau Systeme

Script d’installation automatique de Nagios

Il y a plusieurs méthodes pour installer Nagios, le système de supervision libre, sur un nouveau serveur. La plus simple est d’utiliser les dépôts officiels de votre distribution GNU/Linux, avec le désavantage de ne pas avoir les dernières versions disponibles. La seconde est de suivre pas à pas mon tutoriel (PART 1 et 2) qui permet de faire une compilation depuis les sources.

Je vous propose dans ce billet une troisième voie, qui mixe la simplicité de la première méthode et la finesse de la seconde.

J’ai développé un petit script (sous licence GPL) permettant d’automatiser l’installation d’un serveur Nagios complet sur une distribution GNU/Linux Ubuntu (j’ai validé le script sur Ubuntu Desktop et Ubuntu Server). Libre à vous de modifier ce script pour l’adapter à vos besoins. Si des âmes charitables veulent modifier le script pour l’adapter à d’autres distribution GNU/Linux ou BSD, je suis preneur pour les mettre en téléchargement sur mon SVN.

Récupération du script

On lance la commande suivante pour télécharger le script sur son serveur et le rendre exécutable:

wget --no-check-certificate https://raw.github.com/nicolargo/nagiosautoinstall/master/nagiosautoinstall-ubuntu.sh
chmod a+x nagiosautoinstall-ubuntu.sh

PS: vous pouvez télécharger le script directement sur GitHub.

Lancement du script

Il suffit ensuite de lancer le script et de répondre aux questions posées par le système (en root ou précédé de la commande sudo):

./nagiosautoinstall-ubuntu.sh

Informations sur l’installation

Dans la version 0.8 du script la configuration finale est la suivante:

Nagios Core version      4.0.0
Nagios Plugins version   1.5
Utilisateur système:     nagios
Groupe système:          nagios
Utilisateur pour l'interface Web (http://localhost/nagios/): nagiosadmin