Catégories
Blog Open-source Planet-libre Systeme Web

Installation pas à pas d’un serveur de blog WordPress sur Debian Squeeze

Je viens de passer le cap et de m’abonner à un serveur dédié chez Online.net. Mon choix s’est porté vers une Dedibox DC. J’ai longtemps hésité avec une OVH Kimsufi 16G mais le fait que la Dedibox propose en standard deux disques fonctionnant en RAID1 à fait la différence (avec l’âge ou privilégie la sécurité à la performance…).

Avant de migrer mon blog sur ce nouveau serveur (il est actuellement hébergé chez un VPS Gandi 4 parts), j’ai profité de disposer d’un serveur tout neuf pour valider une procédure complète d’installation et d’optimisation d’un blog WordPress sur un serveur Debian Squeeze en utilisant le « stack » Web suivant: Varnish + Nginx + MemCached.

L’objectif de ce billet est de partager cette procédure avec vous.

Introduction

Nous allons donc détaillé l’installation d’un blog WordPress sur une installation toute fraîche de Debian Squeeze (version stable) pré-installé dans mon cas par Online.net avec un minimum de logiciels (pas d’Apache ni d’autres serveurs Web). Vous l’avez compris, pour suivre la procédure suivante, il faut s’assurer qu’aucun serveur Web n’est installé sur votre machine.

Post installation du système

J’ai pris l’habitude de créer des scripts de post installation pour les OS (desktop et server) que j’utilise. Dans le cas qui nous intéresse je vais donc utiliser le script: squeezeserverpostinstall.sh.

Pour le télécharger puis le lancer, il suffit de saisir les commandes suivantes à partir d’un compte administrateur ou directement en root):

wget --no-check-certificate https://raw.github.com/nicolargo/debianpostinstall/master/squeezeserverpostinstall.sh
chmod a+x squeezeserverpostinstall.sh
./squeezeserverpostinstall.sh

Comme le serveur est directement connecté à Internet et à moins d’être très joueur, je vous conseille de configurer quelques règles de Firewall. J’ai mis à disposition un jeu de règles assez facile à modifier en éditant le fichier /etc/init.d/firewall.sh. Pour le télécharger et l’installer:

wget --no-check-certificate -O /etc/init.d/firewall.sh https://raw.github.com/nicolargo/debianpostinstall/master/firewall.sh
chmod a+x /etc/init.d/firewall.sh
update-rc.d firewall.sh defaults 20
service firewall start

Note: par défaut les ports SSH entrant et HTTP et DNS sortant sont autorisés.

Pour modifier ces listes, il suffit de configurer les variables suivantes dans le fichier /etc/init.d/firewall.sh:

# Services that the system will offer to the network
TCP_SERVICES="22" # SSH only
UDP_SERVICES=""

# Services the system will use from the network
REMOTE_TCP_SERVICES="80 443" # web browsing
REMOTE_UDP_SERVICES="53" # DNS

A ce stade, vous devriez avoir un serveur à jour et sécurisé. Passons donc à l’étape suivante.

Installation de Nginx + PHP-FPM + Memcached

C’est actuellement une des combos les plus performantes pour héberger des serveurs Web basées sur PHP (ce qui est le cas du CMS WordPress). Pour effectuer simplement et rapidement ces logiciels, j’utilise un script maisonnginxautoinstall.sh. Il faut donc saisir les commandes suivantes:

wget --no-check-certificate https://raw.github.com/nicolargo/debianpostinstall/master/nginxautoinstall.sh
chmod a+x nginxautoinstall.sh
./nginxautoinstall.sh

Le script va installer la dernière version stable de Nginx puis le daemon PHP-FPM qui permet de booster les performances des scripts PHP et enfin le gestionnaire de cache mémoire MemCached (note: le script fonctionne également sur Debian Lenny 5).

Pour adapter les performances de Nginx à votre CPU, il faut modifier la variable worker_processes le fichier /etc/nginx/nginx.conf. Pour obtenir la valeur optimale pour votre système, vous pouvez lancer la commande suivante:

cat /proc/cpuinfo | grep processor | wc -l

Qui donne la valeur 4 sur ma Dedibox (4 coeurs/CPU). On édite le fichier nginx.conf de la manière suivante:

user www-data;

# Set this value to 1 or N with N = N-Core
worker_processes  4;
worker_rlimit_nofile 8192;
events {
	# max_clients = worker_processes * worker_connections
	worker_connections  1024;
	# Only for Linux 2.6 or >
	use epoll;
	# Accept as many connections as possible
	multi_accept on;
}

http {
	# Mime types
	include       	mime.types;
	default_type  	application/octet-stream;

	# Log format
	set_real_ip_from 	127.0.0.1; 
	real_ip_header 		X-Forwarded-For; 
	log_format 	main '$remote_addr - $remote_user [$time_local]  $status '
		'"$request" $body_bytes_sent "$http_referer" '
    		'"$http_user_agent" "$http_x_forwarded_for"';

	# Hide the Nginx version number
	server_tokens off;

	# Some tweeks...
	sendfile        		on;
	tcp_nodelay			on;
	#tcp_nopush			on;

	# Timeouts
	#keepalive_timeout  		10 10;
	keepalive_timeout  		65;
	client_body_timeout   		30;
	client_header_timeout 		30;
	send_timeout          		30;
	client_max_body_size		8M;
	reset_timedout_connection 	on;

	# Gzip module configuration
	gzip  			on;
	gzip_disable 		"MSIE [1-6].(?!.*SV1)";
	gzip_vary 		on;
	gzip_comp_level 	3;
	gzip_proxied 		any;
	gzip_buffers 		16 8k;

	include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/sites-enabled/*;
}

On relance le serveur pour prendre en compte la configuration:

service nginx restart

Installation du langage PHP

WordPress use et abuse du langage PHP, une installation optimisé du moteur permettant d’exécuter le code est donc nécessaire. Personnellement j’utilise l’implémentation PHP5 FPM qui est réputé pour ses performances. Elle est installé par défaut avec mon script d’auto-install de Nginx.

La configuration est stocké dans le répertoire /etc/php5/fpm. Mon fichier php-fpm.conf ressemble à cela:

[global]
pid = /var/run/php5-fpm.pid
error_log = /var/log/php5-fpm.log
emergency_restart_interval = 1m 
process_control_timeout = 10s 
include=/etc/php5/fpm/pool.d/*.conf

Avec WordPress comme CMS, je vous encourage à stocker les fichiers de sessions dans une base NoSQL de type Redis afin de ne pas se retrouver avec des milliers de petits fichiers dans le répertoire /tmp. Pour cela, il suffit d’ajouter les lignes suivantes dans le fichier /etc/php5/fpm/php.ini:

session.save_handler = "redis"
session.save_path = "tcp://127.0.0.1:6379?weight=1"

Dernière étape et non des moindres, la configuration du pool de processus PHP-FPM que vous allez dédier à votre blog WordPress (par exemple /etc/php5/fpm/pool.d/www.conf dans mon cas):

[www]
user = www-data
group = www-data
listen = 127.0.0.1:9000
pm = dynamic
pm.max_children = 5
pm.start_servers = 2
pm.min_spare_servers = 1
pm.max_spare_servers = 3
pm.status_path = /status
request_terminate_timeout = 120s
rlimit_files = 65535
chdir = /

On peut relancer PHP

service php5-fpm restart

et passer à l’étape suivante, la base de donnée…

Installation de MySQL

A l’heure actuelle, WordPress utilise une base de donnée MySQL pour fonctionner (je préférerai PgSQL mais bon…). Il faut donc installer le serveur de base de donnée MySQL:

apt-get install mysql-server php5-mysql
service php5-fpm restart

Optimiser un peu celle-ci en modifiant quelques variables dans le fichier /etc/mysql/my.cnf:

query_cache_type = 1
query_cache_limit = 2M
query_cache_size = 32M

et relancer le daemon pour que la configuration soit prise en compte:

service mysql restart

On passe ensuite à la phase de création de la base de données nommée wordpress accessible par utilisateur/motdepasse:

# mysql -u root -p

mysql> create database wordpress;
Query OK, 1 row affected (0.00 sec)

mysql> GRANT ALL PRIVILEGES ON wordpress.* TO "utilisateur"@"localhost" IDENTIFIED BY "motdepasse";
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

mysql> exit

Installation du CMS WordPress

J’utilise la dernière version stable de WordPress disponible sur le site officiel:

cd /var/www
wget http://wordpress.org/latest.tar.gz
tar zxvf latest.tar.gz
cp wordpress/wp-config-sample.php wordpress/wp-config.php
chown -R www-data:www-data /var/www/wordpress

Ensuite on configure la base de donnée dans le fichier wordpress/wp-config.php:

...
define('DB_NAME', 'wordpress');
define('DB_USER', 'utilisateur');
define('DB_PASSWORD', 'motdepasse');
define('WP_CACHE', true);
...

Il suffit ensuite de finaliser l’installation de WordPress en pointant un navigateur Web vers http://votredomaine.com/wordpress/wp-admin/install.php.

Si vous avez changé la structure du permalink (par exemple chez moi c’est /%year%/%monthnum%/%postname%.html), il faut modifer la configuration Nginx, plus précisément la section « Location / » dans le fichier /etc/nginx/sites-enabled/default-site:

server{
        listen 80;

        server_name blog.nicolargo.com;
        root	/var/www/blog.nicolargo.com;
        index 	index.php index.html index.htm;

        access_log /var/log/nginx/blog.access_log;
        error_log /var/log/nginx/blog.error_log;

        # Security
        include global/security.conf;

        location / {
                # This is cool because no php is touched for static content. 
                # include the "?$args" part so non-default permalinks doesn't break 
when using query string
                try_files $uri $uri/ /index.php?$args;
        }

	# PHP-FPM
	include global/php-fpm.conf;

	# STATICS FILES
        location ~* \.(js|css|png|jpg|jpeg|gif|ico)$ {
                expires max;
                log_not_found off;
        }
}

avec les fichiers inclus suivants:

Securité /etc/nginx/global/security.conf:

location = /favicon.ico {
	log_not_found off;
	access_log off;
}

location = /robots.txt {
	allow all;
	log_not_found off;
	access_log off;
}

location ~ /\. {
	deny all;
	access_log off;
	log_not_found off;
}

et PHP-FPM /etc/nginx/global/php-fpm.conf:

# PHP scripts -> PHP-FPM server listening on 127.0.0.1:9000
location ~ \.php$ {
	# The following line prevents malicious php code to be executed through some uploaded file (without php extension, like image)
	# This fix shoudn't work though, if nginx and php are not on the same server, other options exist (like unauthorizing php execution within upload folder)
	# More on this serious security concern in the "Pass Non-PHP Requests to PHP" section, there http://wiki.nginx.org/Pitfalls
	try_files $uri =404;

	# PHP	
	# NOTE: You should have "cgi.fix_pathinfo = 0;" in php.ini
	fastcgi_pass   127.0.0.1:9000;
	fastcgi_index  index.php;
	fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
	include fastcgi_params;
	fastcgi_param  QUERY_STRING     $query_string;
	fastcgi_param  REQUEST_METHOD   $request_method;
	fastcgi_param  CONTENT_TYPE     $content_type;
	fastcgi_param  CONTENT_LENGTH   $content_length;
	fastcgi_intercept_errors        on;
	fastcgi_ignore_client_abort     off;
	fastcgi_connect_timeout 60;
	fastcgi_send_timeout 180;
	fastcgi_read_timeout 180;
	fastcgi_buffers 4 256k;
	fastcgi_buffer_size 128k;
	#fastcgi_buffers 256 16k;
	#fastcgi_buffer_size 16k;
	fastcgi_busy_buffers_size 256k;
	fastcgi_temp_file_write_size 256k;
}

Ne pas oublier de relancer NGinx pour prendre en compte cette modification:

service nginx restart

Installation du plugin WP Super Cache

Après quelques années sous d’utilisation de W3 Total Cache et la mise en place de mon proxy/cache Varnish, j’ai choisi d’utiliser le plugin WP Super Cache qui s’occupe de cacher les pages demandées par les utilisateurs non identifiées (donc pas 90% du trafic) afin que PHP et MySQL ne soit pas appelé lors de ces requêtes.

Il est également possible de précharger la mise en cache des pages les plus visitées et de les mettre automatiquement à jour de manière régulière.

Une fois installé et activé il faut se rendre dans le menu de configuration du plugin et de cliquer sur l’onglet « Easy » et « Mise en cache Activée (Recommandé) ».

A ce stade, on peut faire quelques tests de performances avec Apache Bench (disponible dans le paquet Debian apache2-utils):

[cce lang= »bash »]

Requests per second: 219.53 [#/sec] (mean) (options -t 30 -c 5)

[/cce]

ou avec le service en ligne Load Impact qui permet de simuler gratuitement jusqu’à 50 utilisateurs simultanés sur votre site:

On voit bien que les page du blog se chargent rapidement (environ 500ms) même avec 50 utilisateurs simultanés.

Puis arriva Varnish…

J’ai mis à jour ma configuration de Varnish+Nginx pour WordPress dans le billet suivant. Vous pouvez le suivre en lieu et place du chapitre qui suit…

Vous savez tout le bien que je pense de Varnish. Nous allons donc maintenant ajouter cet accélérateur de site Web dans notre configuration. Il est à noter que cette étape est optionnelle. Vous pouvez tout à fait rester avec la configuration du chapitre précédent qui offre déjà de belles performances.

On commence par installer la dernière version de Varnish en utilisant le dépôt officiel.

apt-get install curl
curl http://repo.varnish-cache.org/debian/GPG-key.txt | apt-key add -
echo "deb http://repo.varnish-cache.org/debian/ $(lsb_release -s -c) varnish-3.0" >> /etc/apt/sources.list.d/varnish.list
apt-get update
apt-get install varnish

La version 3 de Varnish apporte certaines modifications au niveau de la syntaxe des fichiers de configuration. Si vous avez donc une config fonctionnelle en version 2, je vous conseille de lire cette page pour l’adapter.

On commence par éditer le fichier de configuration /etc/varnish/default.vcl:


Puis la manière dont le daemon va se lancer dans le fichier /etc/default/varnish:


Enfin on reconfigure NGinx pour ne plus écouter sur le port 80 (c’est Varnish qui va prendre le relais) mais sur le port 8080. Il suffit de changer la deuxième ligne du fichier /etc/nginx/sites-enabled/wordpress:

...
listen 8080;
...

On n’oublie pas d’ouvrir les port au niveau du Firewall (fichier /etc/init.d/firewall.sh):

# Services that the system will offer to the network
TCP_SERVICES="22 80" # SSH, Web
UDP_SERVICES=""

# Services the system will use from the network
REMOTE_TCP_SERVICES="25 80 443" # Mail, Web browsing
REMOTE_UDP_SERVICES="53" # DNS

...

On relance les services:

service firewall.sh restart
service nginx restart
service varnish restart

Afin pour que Varnish soit prévenu quand un billet est modifié, il faut installer et activier le plugin Varnish HTTP purge.

Le site devrait fonctionner normalement mais avec des performances boostées. Par exemple, le même test Apache Bench donne les résultats suivants:

Requests per second: 9425.03 [#/sec] (mean) (options -t 30 -c 5)

A comparer avec 220 requêtes par secondes sans Varnish…

On voit même une amélioration du temps de chargement des pages (300ms vs 500ms) qui reste constant avec  Load Impact:

Conclusion

On arrive à la fin de ce (trop ?) long billet. Le sujet est vaste et il y a sûrement des améliorations à faire dans la configuration que je viens de vous présenter. Les commentaires ci-dessous sont fait pour partager vos expériences.

Je vous signale également que je regroupe tout les billets sur l’hébergement sur la page suivante.

Catégories
Blog Nagios Open-source Planet-libre

Participez à la prochaine interview de Jean Gabes

Jean Gabes, le « papa » de Shinken, a accepté d »accorder une interview au Blog de Nicolargo avant la prochaine sortie de la nouvelle version de son logiciel de supervision des systèmes d’informations.

J’aimerai que vous, lecteurs du blog, participiez activement à la préparation de cet interview en m’envoyant par mail des questions que vous souhaiteriez lui poser. Une sélection des questions les plus pertinentes sera proposée à Jean.

Pour participer (et gagner au passage un backlink), merci de m’envoyer par mail à l’adresse suivante: contact (a) nicolargo . com (sujet : Interview de Jean Gabes) en n’oubliant pas de donner votre nom/pseudo ainsi que l’adresse URL de votre site/blog (pour le backlink).

Catégories
Blog Open-source Planet-libre Web

Les plugins WordPress du blog

Depuis 4 ans, j’utilise le WordPress pour donner vie à ce blog. Bien que décrié pour ses performances, je trouve que ce CMS propose, par son système de plugins, une flexibilité fonctionnelle que je ne retrouve pas dans les autres logiciels.

Dans ce billet, nous allons voir ensemble la liste des plugins que j’utilise sur Le blog de Nicolargo.

AdRotate

Ce plugin me permet de gérer les espaces publicitaires notamment au niveau du contenu, des dates et des statistiques d’affichage et de click.

After the DeadLine

Ajoute des fonctions de corrections orthographiques et grammaticales à l’éditeur de billets de WordPress.

Align RSS Images

Permet d’avoir un alignement correct des images dans le flux RSS du blog

All In One SEO Pack

Il existe une ribambelle de plugins permettant de s’assurer que le référencement de votre site dans les moteurs de recherches est optimisé. All In One SEO Pack me convient parfaitement même si je dois avouer que j’ai pas mal travaillé le SEO en amont au niveau de mon thème.

Antispam Bee + Askimet

Ce couple me permet de rester relativement à l’abri des spams. Mon taux de faux positif est inférieur à 0.2%. Pour la petite histoire, Askimet a filtré pour moi plus de 24000 spams sur les 12 derniers mois…

Collapsive Archive Widget

Permet d’afficher les archives du blog d’une manière compacte dans la sidebar de droite.

Degradable HTML5 audio and video

Permet d’insérer facilement des tags audio et video (HTML5) dans vos billets. Plus d’informations sur ce plugin dans ce billet.

Feedburner Feed Replacement

Permet de rediriger automatiquement votre flux RSS vers FeedBurner (qui appartient maintenant à Google).

Google Analytics Dashboard

Je suis en train de migrer de Google Analytics vers Piwik. Mais pendant une période de test, je souhaite conserver les deux solutions. Ce plugins permet d’afficher directement les statistiques de consultation dans l’interface d’administration de WordPress.

Google XML Sitemap

Ce plugin permet de générer le fichier sitemap.xml qui est utilisé par Google pour cartographier votre site et ainsi améliorer votre SEO.

LightBox 2

Permet d’afficher les images dans une fenêtre qui vient en sur-impression sur votre site (avec un effet d’ombre) quand on clique dessus.

No Self Ping

Permet de s’assurer que votre site ne se ping pas lui même au niveau des commentaires.

Ranged Popular Posts Widget

Permet d’afficher le TOP des sites en haut de ma sidebar. Plusieurs choix sont disponibles pour l’algorithme qui calcule le classement.

Related Posts

Permet d’afficher une liste de billets en relation avec le billet courant. J’utilise ce plugin dans mon « post footer ». Il permet d’améliorer votre taux de rebond.

Secure WordPress

Permet d’automatiser certaines tâches de sécurisation de votre blog. Lire cet article pour plus d’informations.

SEO Smart Links

Permet de créer automatiquement des liens internes sur certain mots clés. Par exemple, « Nagios » sera redirigé vers ma page Nagios.

Subscribers Text Counter

Permet d’insérer facilement le nombre d’abonnés à vos flux RSS, compte Twitter et Facebook. Je l’utilise en haut à droite de mon blog.

Subscribe To Comments

Permet au lecteur laissant un commentaire de recevoir une alerte par mail si un autre lecteur lui répond.

SyntaxHighlighter Evolved

Affiche les codes (langage de programmation) en couleur et avec les numéros de lignes.

Twit Connect

Propose une authentification sur le blog via son compte Twitter.

W3 Total Cache

Optimise le temps d’affichage des pages. Pour plus d’informations, vous pouvez lire ce billet.

WordPress Download Monitor

Permet de tracker le nombre de téléchargements de fichiers sur votre site. C’est avec ce plugin que je sais que 5252 personnes ont téléchargés mon eBook sur Nagios.

WP-DBManager

Permet d’optimiser, réparer, sauvegarder votre base de données WordPress (MySQL).

WP Minify

Minimise automatiquement vos fichier .css et .js, encore une fois pour réduire le temps de chargement et donc améliorer votre SEO.

WP Security Scan

Vérifie que les fichiers systèmes ne sont pas changés sans une action de votre part (par exemple lors d’une mise à jour).

WP Smush.it

Quand vous uploadez une image sur votre blog, la taille de celle-ci sera automatiquement réduite.

WP Touch

Affiche votre blog de manière optimisée sur les smartphones. Pour les utilisateurs d’iPhone, je rappelle qu’il existe une application dédiée.

 

Vous utilisez d’autres plugins sur vos blogs ?

Catégories
Open-source Planet-libre Systeme

Mon desktop 201108

Retour sur mon PC portable perso sous Ubuntu 11.04 (mes PC portable pro étant retourné sous Debian 6). Pas de grosse modification depuis le mois dernier.

Voici donc ce que cela donne:

Les principales caractéristiques

Conky

Pour installer le thème Conky Orange, il faut bien sur dans un premier temps installer Conky sur votre système (en cliquant directement ici si vous êtes sous Ubuntu) ou en suivant la documentation Ubuntu-fr.

Ensuite, il suffit de saisir les commande suivante dans un terminal:

[cc lang= »bash » width= »580″]

wget http://gnome-look.org/CONTENT/content-files/137503-conky_orange.zip

unzip 137503-conky_orange.zip

mkdir ~/.conky/

cp conky_orange/* ~/.conky/

mv ~/.conkyrc ~/.conkyrc.old

ln -s ~/.conky/conkyrc_orange ~/.conkyrc

[/cc]

Le dock Unity

La configuration d’Unity avait déjà été détaillée dans un dernier billet. Dans le Dock, je configure les applications suivantes pour y être en permanence (bouton droit / conserver dans le dock):

  • Dossier personnel (accès direct à mon $HOME)
  • Chromium (Navigateur Web)
  • Terminator (client terminal)
  • Filezilla (client FTP / SFTP)
  • Hotot (client Twitter / Identi.ca)
  • Pidgin (messagerie)
  • Shutter (capture d’écran)
  • Spotify (ma musique !!!)

Et vous ? Cela donne quoi ?

A vous de nous montrer vos écrans (par exemple en utilisant yFrog puis en partagant l’URL) !

Catégories
Nagios Open-source Planet-libre Reseau Systeme

Problème dans l’installeur de la version 3.3.1 de Nagios

Si vous avez essayé d’installé la dernière version en date de Nagios sur votre système, il se peut que l’erreur suivante soit apparue lors du « make fullinstall »:

/usr/bin/install: omitting directory `includes/rss/extlib’

/usr/bin/install: omitting directory `includes/rss/htdocs’

/usr/bin/install: omitting directory `includes/rss/scripts’

make[1]: *** [install] Error 1

make[1]: Leaving directory `/srv/d_bilbo/install/nagios/nagios/html’

make: *** [install] Error 2

C’est en fait au niveau de l’installation du nouveau thème de l’interface Web de Nagios que le bas blesse et notamment au niveau du fichier Makefile qui se trouve dans le sous répertoire ./html.

Pour résoudre ce problème et procéder à une installation complète de Nagios 3.3.1, il faut suivre la procédure suivante (en attendant le patch de la part de Nagios qui devrait bientôt arriver dans la version 3.3.2):

./configure

sed -i ‘s/for file in includes\/rss\/\*\;/for file in includes\/rss\/\*\.\*\;/g’ ./html/Makefile

sed -i ‘s/for file in includes\/rss\/extlib\/\*\;/for file in includes\/rss\/extlib\/\*\.\*\;/g’ ./html/Makefile

make fullinstall

Je viens d’intégrer automatiquement ce patch maison dans les scripts d’installation et de mise à jour automatique de Nagios (à partir de la version 0.82 des scripts).

Donc si vous avez utilisé mes scripts pour installer et ou mettre à jours en version 3.3.1, je vous conseille de récupérer le script de mise à jour automatique de Nagios et de le ré-exécuter sur vos serveurs afin de finir proprement votre installation et disposer du nouveau thème Web:

Merci aux lecteurs qui on permis d’identifier le problème 🙂

Catégories
Nagios Open-source Planet-libre Reseau

Nagios 3.3.1: mise à jour des scripts d’auto installation

Le coeur de Nagios (aka « Nagios Core ») vient de sortir dans sa version 3.3.1 et apporte son lot d’améliorations et de corrections d’erreurs (voir la liste ici). Dans la foulé, je viens de mettre à jour les scripts d’installation et de mise à jour automatique de Nagios pour Ubuntu et Debian.

Vous les trouverez sur le GitHub suivant: https://github.com/nicolargo/nagiosautoinstall

Pour une nouvelle installation

Il suffit de saisir les lignes de commande suivante dans un terminal (en mode root ou avec sudo):

cd /tmp

wget –no-check-certificate https://raw.github.com/nicolargo/nagiosautoinstall/master/nagiosautoinstall-ubuntu.sh

chmod a+x nagiosautoinstall-ubuntu.sh

./nagiosautoinstall-ubuntu.sh

Pour une mise à jour d’un serveur existant

Mise à jour de ce billet: je viens de publier une nouvelle version du script de mise à jour (version 0.9) développé en langage Python qui fait grosso modo la même chose que la version Shell Script (version 0.83) mais avec un affichage et un log beaucoup plus verbeux… 

J’ai fait le test sur un serveur en version 3.2.3 que j’ai migré en 3.3.1. Il suffit de saisir les lignes de commande suivante dans un terminal (en mode root ou avec sudo):

cd /tmp

wget –no-check-certificate https://raw.github.com/nicolargo/nagiosautoinstall/master/nagiosautoupdate.py

chmod a+x nagiosautoupdate.py

./nagiosautoupdate.py

Et voilà le travail.

Catégories
Blog Open-source

Le panier du marché libre #11

Version estivale et bien chargé du panier du marché libre. On y trouve:

 

En bonus, la recette des tomates confites… un vrai régal…

Catégories
Open-source Planet-libre Reseau Video Web

Vidéo embarquée depuis un véhicule grâce à GStreamer


Ce billet invité a été rédigé par Damien Archenault et Clément Brunel. Merci à eux de nous faire partager leur expérience passionnante de l’utilisation de GStreamer !  (Nicolargo)

Au cours de la dernière année scolaire, deux jeunes étudiants de l’Ecole Supérieure des Sciences et des Technologies de L’Ingénieur de Nancy (ESSTIN), ont élaboré une vidéo embarquée fonctionnant avec GStreamer. Ils ont réalisé ce projet pour leur nouveau véhicule participant au Shell Eco-marathon.

Q’est ce que le Shell Eco-marathon ?

Il s’agit d’une compétition qui depuis 27 ans réunit diverses écoles d’ingénieurs, universités et établissements de l’enseignement supérieur européen pour une course à l’économie d’énergie. Depuis 12 ans, l’ESSTIN, par le biais de l’Eco Motion Team by ESSTIN (qui est le nom de l’équipe de l’école), y engage des véhicules fonctionnant avec différentes énergies.

Le principe de la compétition du Shell Eco-marathon est de parcourir un certain nombre de kilomètres en un temps limité, le tout en consommant le moins d’énergie possible.

L’équipe (composée de 20 élèves de 3ème année, 7 de 4ème année et 2 de 5ème année, encadrés par 7 tuteurs) a participé cette année à la 28ème édition de la course qui s’est déroulée du 26 au 28 mai 2011, sur le circuit de l’EuroSpeedway à Lausitz en Allemagne.

Elle y a fait concourir son tout nouveau prototype Vir’Volt intégrant toutes ses innovations technologiques, dont la vidéo embarquée que vous pouvez voir sur le sommet du véhicule:

Ce projet de vidéo embarquée est en effet tout nouveau, il a été réalisé cette année par Damien Archenault et Clément Brunel qui sont membres de l’équipe, pour répondre à la demande des médias et des sponsors d’avoir des images embarquées en temps réel. Ce qui a pu être réalisé en rediffusant les images sur internet.

Matériel utilisé

Nous avons travaillé cette année avec la société Eukrea qui nous a fournis une carte de développement GNU/Linux embarqué fonctionnant avec un processeur IMX27 et fonctionnant avec une version de linux allégée et OpenEmbedded qui permet de configurer la distribution.

GStreamer et RTSP

Nous avons d’abord essayé d’utiliser un serveur RTSP qui correspondait parfaitement à l’utilisation que nous voulions faire, à savoir diffuser un flux en streaming et profiter des options de lecture standards (lire, pause, stop, déplacement temporel).

Nous allons donc expliquer son installation.On ne peut pas utiliser le gestionnaire de paquet comme sur un système GNU/Linux standard. Il est nécessaire de cross-compiler les fichiers pour qu’ils soient valides pour l’architecture de la carte.

Pour y parvenir, nous utilisons OpenEmbedded qui facilite grandement les choses en proposant lui aussi une liste des paquets disponibles une fois l’environnement de développement correctement installé.

Pour se faire, utilisez la commande:

bitbake gst-rtsp

Un fichier .ipk sera créé et devra être transféré (par tftp et minicom) puis installé via les commandes:

tftp -gr « nom du fichier à télécharger sur la carte » « ip de l’ordinateur cible »

opkg install nomdupaquet.ipk

Une fois installé, vous pouvez utiliser votre serveur en configurant le fichier comme sur ce précédent article du blog et en l’adaptant aux modules spécifiques de l’embarqué. (Utilisez un gst-inspect sur la carte pour les découvrir !).

Vous verrez que mfw_v4lsrc, mfw_vpuencoder font leur apparition et servent à récupérer le flux de la caméra et à l’encoder de façon « plus économe » en ressource pour le « petit » processeur de la carte.

Je ne détaillerai pas plus pour le serveur RTSP, car nous n’avons malheureusement jamais réussi à le faire fonctionner, une erreur survenant lorsqu’un client venait se connecter au serveur.

Passage en GStreamer UDP

Nous nous sommes donc rabattu sur le protocole UDP (avec une couche RTP) pour transférer notre flux vidéo, qui a au moins pour avantage d’optimiser la bande passante, car moins d’informations de sécurité et de contrôle sont envoyées. De plus, en cas de perte de paquet, ou d’arrivée dans un mauvais ordre, les perturbations pour le visiteur sont souvent minimes grâce à la persistance rétinienne.

Pour faire fonctionner le protocole UDP qui est un protocole de la couche réseau (voir modèle OSI) et non de la couche session comme RTSP, nous avons besoin des paquets gst-plugin-rtp, gst-plugin-udp, libgstnetbuffer et gst-plugin-videoscale à installer via opkg install comme précédemment.

Au niveau de l’implantation de ce protocole, il y a donc deux pipelines Gstreamer, une sur la carte (véhicule) et une autre sur le PC client qui va recevoir et afficher le flux vidéo.

Celui de la carte :

La première ligne, pointe vers le client où nous voulons envoyer les images. Dans cet exemple, sur un serveur Dyndns dont nous verrons l’utilité un peu plus loin.

La deuxième commande, la plus complexe, est celle de l’initialisation du flux :

gst-launch-0.10 mfw_v4lsrc capture-width=320 capture-height=240 ! mfw_vpuencoder width=320 height=240 codec-type=std_mpeg4 framerate=13 bitrate=250 gopsize=8 ! rtpmp4vpay send-config=true ! udpsink host=$HOST port=5000

Voici le détail:

  • gst-launch-0.10 : c’est la commande de base, à laquelle on va ajouter des paramètres. (ajouter –v) pour voir le détail de la commande qui s’exécute et avoir la « config » pour le client
  • mfw_v4lsrc : elle permet de sélectionner la caméra comme source du flux
  • — capture-width=320 : Largeur de la fenêtre capturée
  • — capture-height=240 : Hauteur de la fenêtre capturée
  • mfw_vpuencoder : C’est ce plugin qui va nous permettre d’encoder le flux
  • — width=320 : largeur de la fenêtre encodée
  • — height=240 : hauteur de la fenêtre encodée
  • — codec-type=std_mpeg4 : le codec utilisé est le codec mpeg4, ce n’est pas le meilleur codec de compression qui est h264, mais nous avions des erreurs avec ce dernier quand le client venait à se connecter.
  • — framerate=13 : Nombre d’image par seconde transmise
  • — bitrate=250 : quantité de donnée transmises. Il doit être en adéquation avec le type de réseau utilisé : réseau local filaire, réseau wifi, réseau mobile (EDGE, 3G et 3G+ ayant un débit très différent les uns des autres).
  • — gopsize=8 ! (group of picture) représente le nombre d’image envoyé simultanément sur le réseau, ce nom est proche de la moitié du framerate, et favorise la compression.
  • rtpmp4vpay : regroupe les données dans des paquets RTP
  • — send-config=true : envoie la configuration du canal au client. Utile pour récupérer la clé pour synchroniser le client (voir page suivante)
  • udpsink host=$HOST : adresse à laquelle on veut envoyer les données
  • — port=5000 : le port de la liaison entre les deux hôtes.

Celui du client :

Cette commande à l’air compliqué, mais elle est en fait plus simple que la commande de la carte.

gst-launch-0.10 -v –gst-debug=2 udpsrc port=5000 caps= »application/x-rtp, media=(string)video,clock-rate=(int)90000, encoding-name=(string)MP4V-ES, profile-level-id=(string)4, config=(string)000001b004000001b59113000001000000012000c888800f514043c14103, payload=(int)96,ssrc=(uint)1960725087, clock-base=(uint)849638580, seqnum-base=(uint)55554″ ! gstrtpjitterbuffer latency=3000 ! rtpmp4vdepay ! ffdec_mpeg4 ! autovideosink

Détail:

  • gst-launch-0.10 -v –gst-debug=2 : on lance la commande en debug, pour avoir toutes les infos en cas de dysfonctionnement.
  • udpsrc port=5000 port sur lequel on reçoit les données, il doit correspondre à celui de la commande de la carte.
  • — caps= »application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)MP4V-ES, profile-level-id=(string)4, config=(string)000001b004000001b59113000001000000012000c888800f514043c14103, payload=(int)96, ssrc=(uint)1960725087, clock-base=(uint)849638580, seqnum-base=(uint)55554″ : il s’agit ici de la clé qui caractérise complètement le flux entrant. On la trouve en appliquant le –v sur la commande de la carte, puis en faisant un copier coller de la dernière ligne notée « caps »
  • gstrtpjitterbuffer latency=3000 : il s’agit d’un buffer de 3secondes, non obligatoire, mais améliorant fortement la qualité et les aléas de connexion.
  • rtpmp4vdepay : extraire les données des paquets RTP
  • ffdec_mpeg4 : décode les données qui sont en mpeg4
  • autovideosink : affiche le flux sur l’écran.

Une fois ces deux pipelines initialisés correctement (le serveur puis le client) on peut ensuite récupérer l’ordinateur sur un ordinateur quelconque et cela grâce à l’utilisation d’un serveur DNS comme Dyndns.

L’ordinateur chargé de récupérer les images doit juste être synchronisé avec le serveur DNS à l’aide d’un client comme inadyn ou ddclient, dont le fichier de configuration est le suivant :

## ddclient configuration file temps entre chaque rafraichissement de l’ip

daemon=60

# check every 60 seconds

syslog=yes

# log update msgs to syslog

mail-failure=########### #

pid=/var/run/ddclient.pid

# record PID in file.

## Detect IP with our CheckIP server

use=web, web=checkip.dyndns.com/, web-skip=’IP Address’

## DynDNS username and password here

login=#####

password=#######

## Default options

protocol=dyndns2

server=members.dyndns.org

## Dynamic DNS hosts

NOMDEVOTREDNS.dyndns.org

Diffusion du flux sur Internet

Enfin, pour rediffuser en direct sur internet, nous avons utilisé deux outils formidables que sont webcamstudio qui permet de transformer un flux distant en un flux webcam et le site livestream.com qui permet justement de diffuser au monde entier les images d’une webcam, ou dans notre cas de notre vidéo embarquée.

Voici le résultat tel que les Internautes pouvaient le voir:

Conclusion

Le développement d’un tel projet prend beaucoup de temps car est malheureusement assez peu documenté, mais vous partez déjà avec une bonne piste grâce à cet article.

Merci pour votre lecture, et merci à Nicolargo (NDLR: mais c’est avec plaisir !) qui nous permet de publier via son blog.

Catégories
Open-source Planet-libre Reseau Web

NAT et PAT: c’est quoi donc ?

Sur ce blog, j’aborde régulièrement des sujets technologiques en relation avec les réseaux informatiques. Une des question récurrente concerne la translation d’adresses (et de ports) dans les réseaux IPv4. Nous allons donc essayer dans ce billet d’expliquer le fonctionnement des mécanismes NAT (« Network Address Translation » / Translation d’adresses) et PAT (« Port Address Translation » / Translation de port).

Pourquoi ?

Toutes les machines connectées (PCs, serveurs, imprimantes réseau, smarthphones, télévisions multimédias…) disposent d’une adresse (« adresse IP ») permettant de l’identifier sur le réseau. Il existe deux sortes d’adresses: les privées et les publiques.

Une adresse privée est seulement valable sur un réseau privé et ne peut donc pas être utilisé pour  communiquer sur un réseau public comme Internet. En effet, Internet n’accepte de véhiculer que des adresses publiques. Le principal intérêt de l’utilisation d’adresses IP privées est de disposer d’un grand nombre d’adresses pour bâtir ses réseaux privées (entreprises, domicile…) et ainsi de palier au cruel manque d’adresses IP publiques du réseau IP version 4.

Les plages d’adresses IP v4 privées sont les suivantes (source Wikipédia):

La version 6 permettra de résoudre en partie ce problème en proposant pas moins de « 667 millions de milliards d’adresses IP disponibles par mm2 de la surface de la Terre » (source Wikipédia).

Le déploiement d’IP v6 n’étant pas encore finalisé (ou même commencé…). Il est indispensable d’utiliser les technologies de NAT et de PAT pour permettre aux machines disposant d’adresses privées de pourvoir communiquer sur Internet.

Comment ?

NAT

On active le mécanisme de NAT sur les routeurs faisant le lien entre les réseaux privées et publics. Le principe général est de remplacer l’adresse IP source privée de la machine par l’adresse IP publique du routeur.

L’exemple le plus répandu est celui d’un PC client domestique (brave bête) voulant surfer sur Internet (vers un serveur Web par exemple) à travers une Box (routeur Freebox, Livebox, (+*)box…) disposant d’une fonction de NAT dynamique.

Le PC client va émettre un paquet sur sont réseau avec comme adresse source son adresse privée. La Box (qui active par défaut le mécanisme NAT dynamique), va remplacer dans le paquet l’adresse privée du PC par son adresse publique. Elle va en parallèle de cela garde en mémoire l’association (Adresse IP privée du PC > Adresse IP publique du serveur / Port client-serveur). Le serveur va donc recevoir par Internet ce paquet modifié auquel il va répondre avec un paquet de retour ayant pour adresse de destination l’adresse IP publique de la Box. Celle-ci va recevoir le paquet et finalement remplacer l’adresse IP publique de la Box par l’adresse privée du PC.

Il est donc possible avec une seule adresse IP publique de faire communiquer simultanément sur Internet plusieurs machines d’adresses IP privées.

Exemple de configuration du NAT sur une FreeBox:

Le NAT est activé par défaut sur les Freebox. Pour vérifier que votre Freebox est bien en « mode routé » (et donc avec le NAT activé), il faut se rendre dans l’interface d’administration (Configurer mon routeur FreeBox). Puis vérifier que l’option est bien activée.

Exemple de configuration du NAT sur un routeur GNU/Linux:

Voici un exemple de configuration d’un PC routeur sous GNU/Linux placé derrière votre Box et permettant de remplacer la fonction NAT de cette dernière (qu’il faudra configurer en « mode bridgé »).

On part sur l’hypothèse ou votre PC dispose:

  • d’une interface eth0 dans le plan d’adressage IP privée (vers le LAN)
  • d’une interface eth1 dans le plan d’adressage IP public de votre FAI (vers la Box)
  • d’une configuration IP correcte (serveur DNS, passerelle par défaut…)

Il faut donc saisir les lignes suivantes dans un script shell lancé au démarrage de votre machine:

iptables –table nat –flush

iptables –table nat –delete-chain

iptables –table nat –append POSTROUTING –out-interface eth1 -j MASQUERADE

iptables –append FORWARD –in-interface eth0 -j ACCEPT

echo 1 > /proc/sys/net/ipv4/ip_forward

service iptables restart

PAT

La lecture du chapitre précédant à mis en évidence le fait que l’on ne peut pas utiliser une adresse privée pour se déplacer sur Internet. Ainsi, si vous souhaitez héberger un serveur dans un réseau disposant d’une plage d’adresse IP privée, il va falloir ruser. En effet, dans ce cas précis, le NAT n’est d’aucune utilité car il  ne fonctionne que pour les sessions à l’initiative des machines se trouvant sur le réseau privée. Dans notre cas, nous avons besoin d’un mécanisme permettant de rendre visible une machine depuis Internet. C’est le PAT qui va nous offrir cette fonctionnalités.

Prenons l’exemple d’une personne voulant héberger son serveur Web (en écoute sur le port TCP/80) chez lui, derrière sa Box.

Le client va envoyer une requête HTTP vers l’adresse IP publique de la Box (via la résolution DNS). La Box, préalablement configurée avec une redirection du port 80 vers le serveur (PAT), va remplacer l’adresse destination du paquet (l’adresse publique de la Box) par celle du serveur (l’adresse privée du serveur). Le serveur va ensuite répondre en utilisant son adresse IP privée comme adresse source. La Box va ensuite remplacer celle-ci par son adresse IP publique.

Le PC client aura donc l’impression que le serveur Web est hébergé par votre Box.

Exemple de configuration du PAT sur une FreeBox:

Il faut se rendre dans l’interface d’administration de la FreeBox (Configurer mon routeur FreeBox) puis saisir une nouvelle ligne dans le formulaire « Redirection des ports ». Pour reprendre l’exemple ci-dessus et en partant sur l’hypothèse ou votre serveur à l’adresse IP privée 192.168.0.1, il faudra saisir la ligne suivante:

Exemple de configuration du PAT sur un routeur GNU/Linux:

Voici un exemple de configuration d’un PC routeur sous GNU/Linux placé derrière votre Box et permettant de remplacer la fonction PAT de cette dernière (qu’il faudra configurer en « mode bridgé »).

On part sur l’hypothèse ou votre PC dispose:

  • d’une interface eth0 dans le plan d’adressage IP privée (vers le LAN)
  • d’une interface eth1 dans le plan d’adressage IP public de votre FAI (vers la Box)
  • d’une configuration IP correcte (serveur DNS, passerelle par défaut…)

Il faut donc saisir les lignes suivantes dans un script shell lancé au démarrage de votre machine:

iptables –table nat –flush

iptables –table nat –delete-chain

iptables -t nat -A PREROUTING -p tcp –dport 80 -p DNAT –to-destination 192.168.0.1

echo 1 > /proc/sys/net/ipv4/ip_forward

service iptables restart

Nous voici arrivés à la fin de ce billet, n’hésitez pas à poser des questions complémentaires dans les commentaires ci-dessous.

Catégories
Open-source Planet-libre Reseau Systeme

Une souris et un clavier pour plusieurs ordinateurs

Le meuble de mon bureau manque un peu de place… Par surcroît de matériel bureautique. En effet, j’utilise deux PC, le premier pour les aspects bureautique/développement et un second pour la supervision de mon réseau.

Chacun dispose d’un clavier, d’une souris et d’un écran dédié. Comme je dois garder un oeil sur le l’écran de supervision, il n’est pas possible de mutualiser les deux écrans. Par contre une solution technique existe pour utiliser une seule souris et un seul clavier pour mes deux PC: Synergy.

La configuration de Synergy peut vite devenir compliqué… Heureusement il existe un petit logiciel bien pratique pour configurer simplement la bête: QuickSynergy.

Description de ma configuration

  • PC 1 (sous Debian 6.0 Squeeze) avec un clavier et une souris
  • PC 2 (sous Ubuntu 10.04 LTS) sans souris ni clavier (enfin une fois la configuration de Synergy faite :))
  • L’écran du PC 2 étant à gauche nde l’écran du PC 1

Configuration du serveur Synergy

Le serveur doit être installé sur la machine ou la souris et le clavier seront connectés. Pour installer le serveur, il suffit de saisir la commande suivante dans un terminal (en root):

apt-get install quicksynergy

Puis on lance QuickSynergy à partir du menu Applications > Accessoires. Dans l’onglet Share, on entre dans le champs « Left » le nom du PC n°2: PC_2 (attention, QuickSynergy n’aime pas les espaces):

Puis on lance le serveur en cliquant sur Execute.

Configuration d’un client Synergy

Le client (qui est en fait le même programme que le serveur) doit être installé sur toutes les machines ou l’on souhaite enlever la souris et le clavier. Pour installer le client, il suffit de saisir la commande suivante dans un terminal (en root):

apt-get install quicksynergy

Puis on lance QuickSynergy à partir du menu Applications > Accessoires. Dans l’onglet Use, on entre l‘adresse IP du serveur dans le premier champs puis le nom de l’écran comme configuré sur le serveur: PC_2 (attention, QuickSynergy n’aime pas les espaces):

Puis on lance le serveur en cliquant sur Execute.

A partir de ce moment là, la magie commence: vous contrôler vos deux PC avec le même couple souris/clavier et vous passez d’un écran à l’autre en déplaçant la souris sur les bord de l’écran !

A noter que QuickSynergy existe également sous Mac OS X mais pas encore sous Windows…