Nous allons dans ce billet essayer d'optimiser le streaming d'un flux SD sur un réseau local (LAN de 100 Mbps) en utilisant le framework GStreamer.

Environnement des tests

Deux PC Ubuntu connectés sur un même switch (100 Mbps full-duplex).

• PC serveur: Intel(R) Core(TM)2 Duo CPU P8400 @ 2.26GHz / 2 Go RAM
• PC client: Intel(R) Core(TM)2 Duo CPU E6750 @ 2.66GHz / 1 Go RAM

GStreamer version 0.10.25.

Vidéo source: Big Buck Bunny 480p

Tests avec le codec X.264

Ligne de commande sur la machine générant le streaming (serveur):
serveur> gst-launch -v \
        filesrc location="../Vidéos/big_buck_bunny_480p_stereo.ogg" \
        ! queue ! decodebin \
        ! queue ! videoscale method=1 ! video/x-raw-yuv,width=854,height=480 \
        ! queue ! videorate ! video/x-raw-yuv,framerate=\(fraction\)24/1 \
        ! queue ! x264enc byte-stream=true bitrate=2000 bframes=4 ref=4 me=hex subme=4 weightb=true threads=0 \
        ! queue ! rtph264pay \
        ! queue ! udpsink port=5000 host=192.168.29.150 sync=false async=false

Ligne de commande sur la machine recevant le streaming (client):

client> gst-launch -v udpsrc caps="application/x-rtp, media=\(string\)video, clock-rate=\(int\)90000, encoding-name=\(string\)H264, payload=\(int\)96" port=5000 \
 ! queue ! rtph264depay \
 ! queue ! ffdec_h264 ! xvimagesink

Résultat:
Visuel: vidéo saccadé (environ 2 img/sec)
Bande passante mesurée: entre 2 et 3 Mbps
Resource serveur: %CPU=135 / %MEM=5
Resource client: %CPU=10 / %MEM=2

On ajoute un buffer juste avant le depay et le décodage (au niveau du client):

client> gst-launch -v udpsrc caps="application/x-rtp, media=\(string\)video, clock-rate=\(int\)90000, encoding-name=\(string\)H264, payload=\(int\)96" port=5000 \
        ! queue ! gstrtpjitterbuffer latency=3000 \
        ! queue ! rtph264depay \
        ! queue ! ffdec_h264 ! xvimagesink

Résultat:
Visuel: vidéo beaucoup plus fluide mais variation de la gigue (accéleration de la video par moment). On a par contre un décalage de 3 secondes, donc inutilisable pour des flux lives.
Bande passante mesurée: entre 2 et 3 Mbps
Resource serveur: %CPU=140 / %MEM=6
Resource client: %CPU=14 / %MEM=2

On modifie ensuite les paramètres d'encodage X.264 (au niveau du serveur):

serveur> gst-launch -v --gst-debug-level=2 \
        filesrc location="../Vidéos/big_buck_bunny_480p_stereo.ogg" \
        ! queue ! decodebin \
        ! queue ! videoscale method=1 ! video/x-raw-yuv,width=720,height=480 \
        ! queue ! videorate ! video/x-raw-yuv,framerate=\(fraction\)24/1 \
        ! queue ! x264enc vbv-buf-capacity=3000 byte-stream=true bitrate=900 subme=4 ref=2 bframes=1 b-pyramid=true weightb=true \
        ! queue ! rtph264pay \
        ! queue ! udpsink port=5000 host=192.168.29.150 sync=false async=false

Résultat:
Visuel: Presque plus de sacade ni de variation de gigue. On a par contre un décalage de 3 secondes, donc inutilisable pour des flux lives.
Bande passante mesurée: entre 2 et 3 Mbps
Resource serveur: %CPU=120 / %MEM=4
Resource client: %CPU=10 / %MEM=2

Pourquoi ces formats ?

Je me limite à ces deux formats pour la simple et bonne raison qu'il se complète dans mon utilisation quotidienne. En effet, le format OGG (Theora/Vorbis), outre le fait qu'il soit basée sur des codecs libres, permet une intégration simplifié des vidéos dans les navigateurs supportant le HTML5 (lire ce billet), de son coté le format MP4 (H264/AAC) est un standard qui permet de lire ce type de fichiers sur une PlayStation 3.

Avant d'encoder...

Avant de commencer, il faut choisir une source de bonne qualité. Les codecs ne font pas des miracles et si la source est mauvaise, les fichiers encodés le seront aussi. Pour mes tests, j'ai récupéré un trailer haute définition sur le site HD-Trailers.net.  Les caractéristiques du fichier sont les suivantes:

ffmpeg -i shutterisland-tlr1r2r_h720p.mov
Duration: 00:02:22.27, start: 0.000000, bitrate: 6178 kb/s
Stream #0.0(eng): Video: h264, yuv420p, 1280x544, 23.98 tbr, 23.98 tbn, 47.95 tbc
Stream #0.1(eng): Audio: aac, 48000 Hz, 5.1, s16

Pour jouer cette vidéo sur votre machine, il faut saisir la pipeline suivante:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! audioresample ! autoaudiosink \
 decoder. ! queue ! ffmpegcolorspace ! autovideosink

Voici le résultat:

Le fichier source a une talle de 11 Mo

Fichier source

Comment encoder ?

En basse qualité

Nous obtiendrons ici des fichiers dont la taille sera réduite mais avec une qualité plus basse, notamment lors des phases ou la caméra bouge beaucoup (par exemple sur les travelings).

Encodage OGG (Theora/Vorbis)

La pipeline:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! vorbisenc ! queue ! \
 oggmux name=muxer \
 decoder. ! queue ! ffmpegcolorspace ! theoraenc ! queue ! \
 muxer. muxer. ! queue ! filesink location=~/Vidéos/shutterisland-tlr1r2r_h720p_lq.ogv

Le fichier a une taille 1.7 Mo de donne le résultat suivant:
Fichier basse qualité OGG

Encodage MP4 (H264/AAC)

La pipeline:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! faac profile=2 ! queue ! \
 ffmux_mp4 name=muxer \
 decoder. ! queue ! ffmpegcolorspace ! x264enc pass=4 quantizer=30 subme=4 threads=0 ! queue ! \
 muxer. muxer. ! queue ! filesink location=~/Vidéos/shutterisland-tlr1r2r_h720p_lq.mp4

Le fichier a une taille 2 Mo de donne le résultat suivant:
Fichier basse qualité MP4

En moyenne qualité

Nous obtiendrons ici un bon compromis entre la taille des fichiers et la qualité de l'image.

Encodage OGG (Theora/Vorbis)

La pipeline:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! vorbisenc ! queue ! \
 oggmux name=muxer \
 decoder. ! queue ! ffmpegcolorspace ! theoraenc quality=32 ! queue ! \
 muxer. muxer. ! queue ! filesink location=~/Vidéos/shutterisland-tlr1r2r_h720p_mq.ogv

Le fichier a une taille 2.8 Mo de donne le résultat suivant:
Fichier moyenne qualité OGG

Encodage MP4 (H264/AAC)

La pipeline:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! faac profile=2 ! queue ! \
 ffmux_mp4 name=muxer \
 decoder. ! queue ! ffmpegcolorspace ! x264enc pass=4 quantizer=25 subme=5 me=2 ref=3 threads=0 ! queue ! \
 muxer. muxer. ! queue ! filesink location=~/Vidéos/shutterisland-tlr1r2r_h720p_mq.mp4

Le fichier a une taille 3.6 Mo de donne le résultat suivant:
Fichier moyenne qualité MP4

En haute qualité

Nous obtiendrons ici une très bonne qualité d'image mais une taille importante des fichiers.

Encodage OGG (Theora/Vorbis)

La pipeline:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! vorbisenc ! queue ! \
 oggmux name=muxer \
 decoder. ! queue ! ffmpegcolorspace ! theoraenc quality=48 ! queue ! \
 muxer. muxer. ! queue ! filesink location=~/Vidéos/shutterisland-tlr1r2r_h720p_hq.ogv

Le fichier a une taille 5 Mo de donne le résultat suivant:
Fichier haute qualité OGG

Encodage MP4 (H264/AAC)

La pipeline:

gst-launch filesrc location=~/Vidéos/shutterisland-tlr1r2r_h720p.mov ! decodebin name=decoder \
 decoder. ! queue ! audioconvert ! faac profile=2 ! queue ! \
 ffmux_mp4 name=muxer \
 decoder. ! queue ! ffmpegcolorspace ! x264enc pass=4 quantizer=20 subme=6 me=2 ref=3 threads=0 ! queue ! \
 muxer. muxer. ! queue ! filesink location=~/Vidéos/shutterisland-tlr1r2r_h720p_hq.mp4

Le fichier a une taille 7.3 Mo de donne le résultat suivant:
Fichier haute qualité MP4

Pour conclure

Nous avons vu dans ce billet les bases de l'encodage de fichiers vidéos avec GStreamer. Il est imporant de signaler que par la magie des pipeline, on pourrait très bien appliquer ces méthodes avec une source live comme une Webcam ou un flux venant d'un serveur de streaming vidéo.

Si vous avez des pipelines d'encodages que vous voulez partager avec les lecteurs de ce blog, les commentaires sont là pour ça !

Avant de commencer

On ouvre un terminal et on lance les commandes suivantes afin d'installer les librairies nécessaires à la compilation de Handbrake:

sudo yum groupinstall "Development Tools" "Development Libraries" "X Software Development" "GNOME Software Development"
sudo yum install yasm zlib-devel bzip2-devel dbus-glib-devel hal-devel webkitgtk-devel libnotify-devel gstreamer-devel gstreamer-plugins-base-devel

Installation de Handbrake

On récupère la dernière version de Handbrake à parit du dépôt SVN:

cd ~
mkdir src
cd src
svn checkout svn://svn.handbrake.fr/HandBrake/trunk handbrake

On lance la préparation de la compilation:

cd handbrake
./configure --launch

On compile et on installe:

cd build
sudo make install

Pour lancer le logiciel Handbrake, il faut aller dans le menu Applications / Son et vidéo / Handbrake (si vous êtes sous Gnome...). Et voilà le travail:

Configuration d'un profil PlayStation 3

On commence par cliquer sur le profil "High Profile" puis sur le bouton "Save current settings to new preset". On entre un nom et une description pour le profil:

J'utilise les paramètres suivants:

Il ne reste plus qu'a insérer un DVD dans votre lecteur, choisir le profil "PlayStation 3" et lancer l'encodage !

Installation

On commence par installer la bête sur notre OS pingouin préféré:

sudo aptitude install youtube-dl

Téléchargement d'une vidéo YouTube

Il faut d'abord se rendre avec votre navigateur Web sur la page Youtube pour y récupérer l'adresse (URL):

URL = http://www.youtube.com/watch?v=zlfKdbWwruY

Ensuite, on entre dans un terminal la commande suivante:

youtube-dl -b -o whereismatt.flv http://www.youtube.com/watch?v=zlfKdbWwruY

L'option -b permet d'obtenir une vidéo en qualité optimale. L'option -o whereismatt.flv configure le nom du fichier de sortie (le fichier qui sera présent sur votre disque dur). Je vous conseille de laisse l'exetension .flv qui correspond au format du fichier vidéo Youtube (Flash Video). Enfin on entre l'URL http://www.youtube.com/watch?v=zlfKdbWwruY.

A la fin du téléchargement (la durée dépend de la rapidité de votre ligne Internet). le fichier whereismatt.flv devrait contenir la vidéo que vous pouvez lire un lecteur multimédia (comme VLC).

En option, convertir le fichier dans un format libre

Le format FLV (qui vit je pense ses dernières heures avec l'arrivée d'HTML 5) n'est pas libre et moi , j'aime pas ce qui n'est pas libre... donc pour convertir le fichier whereismatt.flv en whereismatt.ogv (c'est mieux non ?), j'utilise la commande:

ffmpeg2theora <span style="font-family: Consolas, Monaco, 'Courier New', Courier, monospace; line-height: 18px; font-size: 12px; white-space: pre; background-color: #ffffff;">whereismatt.flv<span style="font-family: Georgia, 'Times New Roman', 'Bitstream Charter', Times, serif; line-height: 19px; white-space: normal; font-size: 13px;">

Vous devriez donc avoir à la fin un beau fichier au format conteneur OGV encodé en Theora pour la vidéo et en Vorbis pour l'audio (bref que du beau libre) !

Et hop danses Matt !

Si vous suivez ce blog de prêt (si ce n'est pas le cas, cliquez ici !), vous savez tout le bien que je pense du Framework multimédia GStreamer présent sur l'ensemble des distributions GNU/Linux. En standard, l'installation de GStreamer ne dispose pas de l'ensemble des plugins disponibles. (dont notamment les encodeurs H.264, et les plugins pour la communication avec FFMpeg).

Comme nous l'avions fait avec la distribution GNU/Linux Ubuntu 9.04, voici donc une petite procédure pour installer une version récente et compléte de GStreamer sous Fedora 11.

On commence par ajouter les dépôts, puis on met à jour notre système:

rpm -ivh http://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-stable.noarch.rpm
yum update

Ensuite on installe GStreamer and co:

yum install gstreamer gstreamer-tools gstreamer-plugins-base gstreamer-plugins-flumpegdemux gstreamer-plugins-good gstreamer-rtsp gstreamer-ffmpeg gstreamer-plugins-bad gstreamer-plugins-ugly

On vérifie l'installation (et le nombre de plugins):

gst-inspect
...
Nombre total :201 greffons, 914 fonctionnalités

Et vous, celà donne quoi sur votre configuration ?

Pas trop le temps de blogger en ce moment (sniff), donc juste une rapide note pour vous indiquer que GStreamer, le framework multimédia sous GNU/Linux vient d'évoluer en version 0.10.25 (pour le core et les plugins de bases).

Deux solutions pour profiter dès à présent des nouveautés, la première est de configurer votre système GNU/Linux Ubuntu avec le dépôt de développement du projet GStreamer.

On commence par ajouter les lignes suivantes au fichier /etc/pat/sources.list:

## Gstreamer for dev

deb http://ppa.launchpad.net/gstreamer-developers/ppa/ubuntu jaunty main

deb-src http://ppa.launchpad.net/gstreamer-developers/ppa/ubuntu jaunty main

Puis on met à jour notre système:

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 051D8B58

sudo aptitude update

sudo aptitude safe-upgrade

La deuxième solution consiste à installer cette nouvelle version en complément de la version standard. Je vous conseille de compiler GStreamer en suivant cette procédure (il y a même un script shell qui fait tout pour   vous...).

Le codec vidéo libre est sorti la semaine dernière en version 1.1. Beaucoup de nouveautés sur le pont:

• rate-Distortion Optimization ( RDO ) pour une meilleure quantification des décisions
• quantification adaptative implique une meilleure utilisation du bitrate
• un mode d'encodage deux passes pour des fichiers à la taille souhaitée
• une utilisation plus fine du CPU pendant l'encodage
• un meilleur contrôle du débit pour la diffusion en streaming (à valider bientôt avec GStreamer )
• une amélioration des performances du décodeur (de l'ordre de 1,5 à 2 fois plus rapide par rapport à Theora 1.0)
• une retro compatibilité des fichiers Theora 1.0

Pour profiter sans attendre des ces nouveautés sur votre distribution Ubuntu, il faut suivre la procédure suivante:

cd ~/src

wget http://downloads.xiph.org/releases/theora/libtheora-1.1.0.tar.bz2

bzip2 -d libtheora-1.1.0.tar.bz2

tar xvf libtheora-1.1.0.tar

./configure

make

sudo make install

make check

Et voili !

A la recherche des "bons" paramètres

On commence par  créer un fichier vidéo de référence. Ce dernier est à adapter à votre besoin. Pour mes tests, j'ai enregistré une séquence d'une dizaine de secondes devant ma Webcam:

gst-launch v4l2src device="/dev/video1" ! queue ! videoscale method=1 ! video/x-raw-yuv,width=320,height=240 ! avimux ! filesink location=webcam.avi

Ensuite on génère un fichier encodé en H.264 (c'est à dire sans paramètre, avec un encodage à 2 Mbps). Il servira de référence pour la comparaison qualitative:

gst-launch filesrc location=webcam.avi ! decodebin ! queue ! ffmpegcolorspace ! x264enc ! avimux ! filesink location=webcam-x264-10.avi

On peut comparer les deux:

Original vs X.264 (defaut)

On va maintenant jouer avec les paramètres disponibles pour le codec X.264. La liste de ces paramètres est longue et le paramétrage très pointu. Je vous conseille la lecture de ce document et de ce forum.

Nous allons dans un premier temps fixer le débit de compression à 200 Kbps (paramètre bitrate) puis mettre des valeurs moyennes au niveau des paramètres ref et subme. Cela devrait assurer un bon compromis entre vitesse de compression et qualité d'image.

gst-launch filesrc location=webcam.avi ! decodebin ! queue ! x264enc byte-stream=true bitrate=200 ! gst-launch filesrc location=webcam.avi ! decodebin ! queue ! ffmpegcolorspace ! x264enc byte-stream=true bitrate=200 bframes=4 ref=4 me=hex subme=4 weightb=true threads=0 ! avimux ! filesink location=webcam-x264-11.avi

On compare le résultat:

X.264 (defaut) vs X.264 test 11
(byte-stream=true bitrate=200 bframes=4 ref=4 me=hex subme=4 weightb=true threads=0)

Comme on peut le voir la qualité est moins bonne (surtout quand il y a des mouvements) mais l'on passe d'un débit de 2089 Kbps à 203 Kbps (soit un facteur 10).

En choisissant des options qui permettent une compression plus rapide (ce qui peut être utile pour une utilisation interactive de type videoconference), on perd encore en qualité:

gst-launch filesrc location=webcam.avi ! decodebin ! queue ! ffmpegcolorspace ! x264enc byte-stream=true bitrate=200 bframes=4 ref=1 me=dia subme=1 weightb=true threads=0 ! avimux ! filesink location=webcam-x264-12.avi

On compare le résultat par rapport aux paramètres précédant:

La consommation de bande passante entre les deux tests est la même (203 Kbps). Seul le temps d'encodage diffère (gain de 25%).

Enfin on paramètre X.264 pour améliorer la qualité (donc au détriment du temps d'encodage):

gst-launch filesrc location=webcam.avi ! decodebin ! queue ! ffmpegcolorspace ! x264enc byte-stream=true bitrate=200 bframes=4 ref=8 me=umh subme=6 weightb=true threads=0 ! avimux ! filesink location=webcam-x264-13.avi

On compare le résultat par rapport aux paramètres du test 11:

La qualité est légèrement meilleure (difficile à voir sur cette image), le débit identique, par contre le délais d'encodage bondit de plus de 100%.

Pour résumé, les paramètres suivant sont ceux qui offre le meilleur résultat pour mon besoin:

byte-stream=true bitrate=200 bframes=4 ref=4 me=hex subme=4 weightb=true threads=0

Ratio qualité/bande passante

Maintenant que nous avons identifié les "bons" paramètres pour notre besoin. Il faut jouer sur les paramètres externes pour trouver le bon ratio entre la qualité de l'image et la bande passante consommé lors du streaming de notre Webcam.

Les paramètres sur lesquels on a des leviers sont les suivants:

• taille de l'image (résolution)
• nombre d'images par seconde (fps)
• débit cible au niveau du codec X.264 (bitrate)

Comme je n'aime pas faire des choses répétitives (non non, ce n'est pas de la fainéantise...),  j'ai développé un petit script shell qui prend en entrée un fichier vidéo de référence, une liste de résolution (au format GStreamer), une liste de fps et une liste de débit. Le script va générer automatiquement les vidéos encodés avec ces différents paramètres.

Voici le script en question:

#!/bin/sh

# Je génére le fichier de référence avec la commande:
# sudo gst-launch v4l2src device="/dev/video1" ! queue ! videoscale method=1 ! video/x-raw-yuv,width=704,height=576 ! avimux ! filesink location=videotest.avi

videosrc="./videotest.avi"
reslist="width=704,height=576 width=352,height=288 width=176,height=144 width=128,height=96"
fpslist="24 12 6 3"
bitratelist="400 300 200 100 50"

for res in `echo $reslist`
do
 resname=`echo $res | sed "s/width=//" | sed "s/height=//" | sed "s/,/x/"`
 for fps in `echo $fpslist`
 do
  for bitrate in `echo $bitratelist`
  do
   echo videotest-${resname}-${fps}fps-${bitrate}kbps.avi
   gst-launch filesrc location=$videosrc ! decodebin ! ffmpegcolorspace ! queue ! cairotextoverlay text="${resname} ${fps}fps ${bitrate}kbps" shaded-background=true ! queue ! videorate ! video/x-raw-yuv,framerate=$fps/1 ! queue ! videoscale method=1 !  video/x-raw-yuv,$res ! queue ! ffmpegcolorspace ! x264enc byte-stream=true bitrate=$bitrate bframes=4 ref=4 me=hex subme=4 weightb=true threads=0 ! avimux ! filesink location=videotest-${resname}-${bitrate}kbps-${fps}fps.avi
  done
 done
done

J'obtient les résultats suivants:

videotest-704x576-50kbps-6fps.avi donne un débit moyen de 41 kb/s
videotest-352x288-50kbps-3fps.avi donne un débit moyen de 42 kb/s
videotest-352x288-50kbps-6fps.avi donne un débit moyen de 42 kb/s
videotest-704x576-50kbps-3fps.avi donne un débit moyen de 43 kb/s
videotest-176x144-50kbps-3fps.avi donne un débit moyen de 44 kb/s
videotest-128x96-50kbps-3fps.avi donne un débit moyen de 45 kb/s
videotest-176x144-50kbps-6fps.avi donne un débit moyen de 46 kb/s
videotest-128x96-50kbps-6fps.avi donne un débit moyen de 47 kb/s
videotest-352x288-50kbps-12fps.avi donne un débit moyen de 47 kb/s
videotest-704x576-50kbps-12fps.avi donne un débit moyen de 47 kb/s
videotest-176x144-50kbps-12fps.avi donne un débit moyen de 51 kb/s
videotest-128x96-50kbps-12fps.avi donne un débit moyen de 52 kb/s
videotest-352x288-50kbps-24fps.avi donne un débit moyen de 53 kb/s
videotest-704x576-50kbps-24fps.avi donne un débit moyen de 53 kb/s
videotest-176x144-50kbps-24fps.avi donne un débit moyen de 54 kb/s
videotest-128x96-50kbps-24fps.avi donne un débit moyen de 56 kb/s
videotest-128x96-100kbps-3fps.avi donne un débit moyen de 73 kb/s
videotest-704x576-100kbps-6fps.avi donne un débit moyen de 76 kb/s
videotest-352x288-100kbps-3fps.avi donne un débit moyen de 81 kb/s
videotest-352x288-100kbps-6fps.avi donne un débit moyen de 81 kb/s
videotest-704x576-100kbps-3fps.avi donne un débit moyen de 84 kb/s
videotest-176x144-100kbps-3fps.avi donne un débit moyen de 86 kb/s
videotest-128x96-200kbps-3fps.avi donne un débit moyen de 87 kb/s
videotest-128x96-300kbps-3fps.avi donne un débit moyen de 87 kb/s
videotest-128x96-400kbps-3fps.avi donne un débit moyen de 87 kb/s
videotest-128x96-100kbps-6fps.avi donne un débit moyen de 88 kb/s
videotest-704x576-100kbps-12fps.avi donne un débit moyen de 89 kb/s
videotest-352x288-100kbps-12fps.avi donne un débit moyen de 91 kb/s
videotest-704x576-100kbps-24fps.avi donne un débit moyen de 93 kb/s
videotest-176x144-100kbps-6fps.avi donne un débit moyen de 94 kb/s
videotest-176x144-100kbps-12fps.avi donne un débit moyen de 99 kb/s
videotest-352x288-100kbps-24fps.avi donne un débit moyen de 99 kb/s
videotest-128x96-100kbps-12fps.avi donne un débit moyen de 101 kb/s
videotest-176x144-100kbps-24fps.avi donne un débit moyen de 103 kb/s
videotest-128x96-100kbps-24fps.avi donne un débit moyen de 104 kb/s
videotest-128x96-200kbps-6fps.avi donne un débit moyen de 125 kb/s
videotest-128x96-300kbps-6fps.avi donne un débit moyen de 130 kb/s
videotest-128x96-400kbps-6fps.avi donne un débit moyen de 131 kb/s
videotest-176x144-200kbps-3fps.avi donne un débit moyen de 136 kb/s
videotest-704x576-200kbps-6fps.avi donne un débit moyen de 150 kb/s
videotest-176x144-300kbps-3fps.avi donne un débit moyen de 151 kb/s
videotest-176x144-400kbps-3fps.avi donne un débit moyen de 152 kb/s
videotest-352x288-200kbps-6fps.avi donne un débit moyen de 161 kb/s
videotest-352x288-200kbps-3fps.avi donne un débit moyen de 162 kb/s
videotest-704x576-200kbps-3fps.avi donne un débit moyen de 165 kb/s
videotest-176x144-200kbps-6fps.avi donne un débit moyen de 170 kb/s
videotest-128x96-200kbps-12fps.avi donne un débit moyen de 174 kb/s
videotest-352x288-200kbps-12fps.avi donne un débit moyen de 174 kb/s
videotest-704x576-200kbps-12fps.avi donne un débit moyen de 174 kb/s
videotest-704x576-200kbps-24fps.avi donne un débit moyen de 187 kb/s
videotest-128x96-300kbps-12fps.avi donne un débit moyen de 188 kb/s
videotest-128x96-400kbps-12fps.avi donne un débit moyen de 188 kb/s
videotest-128x96-200kbps-24fps.avi donne un débit moyen de 191 kb/s
videotest-352x288-200kbps-24fps.avi donne un débit moyen de 192 kb/s
videotest-176x144-200kbps-12fps.avi donne un débit moyen de 193 kb/s
videotest-176x144-200kbps-24fps.avi donne un débit moyen de 199 kb/s
videotest-176x144-300kbps-6fps.avi donne un débit moyen de 202 kb/s
videotest-128x96-300kbps-24fps.avi donne un débit moyen de 211 kb/s
videotest-128x96-400kbps-24fps.avi donne un débit moyen de 215 kb/s
videotest-176x144-400kbps-6fps.avi donne un débit moyen de 216 kb/s
videotest-704x576-300kbps-6fps.avi donne un débit moyen de 220 kb/s
videotest-352x288-300kbps-3fps.avi donne un débit moyen de 235 kb/s
videotest-704x576-300kbps-3fps.avi donne un débit moyen de 245 kb/s
videotest-352x288-300kbps-6fps.avi donne un débit moyen de 249 kb/s
videotest-704x576-300kbps-12fps.avi donne un débit moyen de 262 kb/s
videotest-352x288-300kbps-12fps.avi donne un débit moyen de 265 kb/s
videotest-176x144-300kbps-12fps.avi donne un débit moyen de 272 kb/s
videotest-704x576-300kbps-24fps.avi donne un débit moyen de 278 kb/s
videotest-176x144-300kbps-24fps.avi donne un débit moyen de 289 kb/s
videotest-352x288-300kbps-24fps.avi donne un débit moyen de 293 kb/s
videotest-704x576-400kbps-6fps.avi donne un débit moyen de 297 kb/s
videotest-352x288-400kbps-3fps.avi donne un débit moyen de 298 kb/s
videotest-176x144-400kbps-12fps.avi donne un débit moyen de 301 kb/s
videotest-704x576-400kbps-3fps.avi donne un débit moyen de 318 kb/s
videotest-352x288-400kbps-6fps.avi donne un débit moyen de 336 kb/s
videotest-176x144-400kbps-24fps.avi donne un débit moyen de 339 kb/s
videotest-704x576-400kbps-12fps.avi donne un débit moyen de 346 kb/s
videotest-352x288-400kbps-12fps.avi donne un débit moyen de 355 kb/s
videotest-704x576-400kbps-24fps.avi donne un débit moyen de 373 kb/s
videotest-352x288-400kbps-24fps.avi donne un débit moyen de 385 kb/s

Si on se focalise sur un nombre d'images par seconde de 12 et une résolution CIF (ce qui est suffisant pour une besoin de type vidéoconférence), on obtient les qualités suivantes:

Dévit cible: 50 Kbps / Débit mesuré: 47 Kbps

Dévit cible: 100 Kbps / Débit mesuré: 91 Kbps

Dévit cible: 200 Kbps / Débit mesuré: 174 Kbps

Dévit cible: 300 Kbps / Débit mesuré: 265 Kbps

Dévit cible: 400 Kbps / Débit mesuré: 355 Kbps

On peut voir que la qualité augmente moins à partir d'un débit cible de 200 Kbps.

On teste enfin le streaming

Pas la peine de réinventer la roue, j'avais déjà écrit un billet sur le sujet. Si l'on souhaite faire un streaming RTP entre deux machines en prenant en compte l'optimisation X.264 décrite dans les chapitres précédant, il faut saisir les commandes suivantes:

Sur le serveur (192.168.1.1):

gst-launch -v  gstrtpbin name=rtpbin \
v4l2src \
! queue ! videoscale method=1 ! video/x-raw-yuv,width=352,height=288 \
! queue ! videorate ! video/x-raw-yuv,framerate=\(fraction\)12/1 \
! queue ! x264enc byte-stream=true bitrate=200 bframes=4 ref=4 me=hex subme=4 weightb=true threads=0 ! rtph264pay \
! rtpbin.send_rtp_sink_0 \
rtpbin.send_rtp_src_0 ! udpsink port=5000 host=192.168.1.2 \
rtpbin.send_rtcp_src_0 ! udpsink port=5001 host=192.168.1.2 sync=false async=false \
udpsrc port=5002 ! rtpbin.recv_rtcp_sink_0

Puis sur le client (192.168.1.2):

gst-launch -v gstrtpbin name=rtpbin latency=200 \
udpsrc caps="application/x-rtp, media=(string)video,
clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96" port=5000 \
! rtpbin.recv_rtp_sink_0 \
rtpbin. ! rtph264depay ! ffdec_h264 ! xvimagesink \
udpsrc port=5001 ! rtpbin.recv_rtcp_sink_0 \
rtpbin.send_rtcp_src_0 ! udpsink port=5002 host=192.168.0.1 sync=false async=false

Conclusion

Comme toujours dans ce genre d'exercice, le paramétrage des codecs vidéos dépend de votre source (on n'encode pas de la même manière le flux CIF venant d'une Webcam ou un fichier vidéo HD...). On a ici trouvé un bon compromis entre qualité d'affichage et bande passante consommée sur le réseau. Etant loin d'être un spécialiste sur le sujet, il y a surement des optimisations à faire. Les commentaires sont fait pour ça !

Edit: j'ai ajouté un script SHELL "qui fait tout pour vous" en fin de billet...

Voici une petite procédure pour compiler la dernière version du framework multimédia GStreamer tout en préservant la version installée depuis les dépôts officiels. La procédure a été validé sur une GNU/Linux Ubuntu 9.04 mais doit facilement être adaptable à d'autres distribution (pour une procèdure équivalente sous Mac OS X, vous pouvez lire ce billet).

GStreamer étant un framework, il se base sur de nombreuses librairies externes. Pour nous simplifier la tache, nous allons utiliser les dépôts pour l'installation de ces librairies:

sudo aptitude build-dep gstreamer0.10-ffmpeg gstreamer0.10-plugins-bad gstreamer0.10-plugins-bad-multiverse gstreamer0.10-plugins-base gstreamer0.10-plugins-good gstreamer0.10-plugins-ugly gstreamer0.10-plugins-ugly-multiverse bison flex git

Ensuite on récupère les dernières versions disponibles de GStreamer et de ses plugins:

mkdir ~/src
cd ~/src
wget http://gstreamer.freedesktop.org/src/gstreamer/gstreamer-0.10.25.tar.gz
wget http://gstreamer.freedesktop.org/src/gst-plugins-base/gst-plugins-base-0.10.25.tar.gz
wget http://gstreamer.freedesktop.org/src/gst-plugins-bad/gst-plugins-bad-0.10.17.tar.gz
wget http://gstreamer.freedesktop.org/src/gst-plugins-good/gst-plugins-good-0.10.17.tar.gz
wget http://gstreamer.freedesktop.org/src/gst-plugins-ugly/gst-plugins-ugly-0.10.13.tar.gz
wget http://gstreamer.freedesktop.org/src/gst-ffmpeg/gst-ffmpeg-0.10.8.tar.gz

On commence par la compilation de GStreamer (core). L'installation se fera dans le répertoire /opt/gstreamer/gstreamer-0.10.24:

tar zxvf gstreamer-0.10.25.tar.gz
cd gstreamer-0.10.25
./configure --prefix=/opt/gstreamer/gstreamer-0.10.25
make
sudo make install
cd ..

... puis les plugins "base":

tar zxvf gst-plugins-base-0.10.25.tar.gz
cd gst-plugins-base-0.10.25
PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-0.10.25/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-0.10.25
make
sudo make install
cd ..

... puis les plugins "good":

tar zxvf gst-plugins-good-0.10.17.tar.gz
cd gst-plugins-good-0.10.17
PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-0.10.25/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-0.10.25
make
sudo make install
cd ..

... puis les plugins "bad":

tar zxvf gst-plugins-bad-0.10.17.tar.gz
cd gst-plugins-bad-0.10.17
PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-0.10.25/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-0.10.25
make
sudo make install
cd ..

... les plugins "ugly":

tar zxvf gst-plugins-ugly-0.10.13.tar.gz
cd gst-plugins-ugly-0.10.13
PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-0.10.25/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-0.10.25
make
sudo make install
cd ..

... et enfin les plugins FFMPEG (streaming):

tar zxvf gst-ffmpeg-0.10.8.tar.gz
cd gst-ffmpeg-0.10.8
PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-0.10.25/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-0.10.25
make
sudo make install
cd ..

Puis on créé un lien symbolique entre le répertoire /opt/gstreamer/current et /opt/gstreamer/gstreamer-0.10.25. Ce lien nous permet d'avoir plusieur version de GStreamer sur notre système.

sudo cp /opt/gstreamer/gstreamer-0.10.25/lib/gstreamer-0.10.25/* /opt/gstreamer/gstreamer-0.10.25/lib/

sudo ln -s /opt/gstreamer/gstreamer-0.10.25/lib /opt/gstreamer/current

On teste enfin l'installation:

/opt/gstreamer/gstreamer-0.10.25/bin/gst-inspect --gst-plugin-path=/opt/gstreamer/current

Pour les plus faineant, voici un script sheel automatisant ces quelques taches

#!/bin/sh

# A simple script to get/compile/install GStreamer

# Nicolas Hennion - GPL

#

# Remarks: the version will be installed in the /opt/gstreamer folder

# Change this to the latest version

GST_CORE=0.10.25

GST_BASE=0.10.25

GST_GOOD=0.10.17

GST_BAD=0.10.17

GST_UGLY=0.10.13

GST_FFMPEG=0.10.8

# Do not edit under this line

sudo aptitude build-dep gstreamer0.10-ffmpeg gstreamer0.10-plugins-bad gstreamer0.10-plugins-bad-multiverse gstreamer0.10-plugins-base gstreamer0.10-plugins-good gstreamer0.10-plugins-ugly gstreamer0.10-plugins-ugly-multiverse

sudo aptitude install bison flex git

if [ ! -e gstreamer-$GST_CORE.tar.gz ]

then

wget http://gstreamer.freedesktop.org/src/gstreamer/gstreamer-$GST_CORE.tar.gz

fi

if [ ! -e gst-plugins-base-$GST_BASE.tar.gz ]

then

wget http://gstreamer.freedesktop.org/src/gst-plugins-base/gst-plugins-base-$GST_BASE.tar.gz

fi

if [ ! -e gst-plugins-good-$GST_GOOD.tar.gz ]

then

wget http://gstreamer.freedesktop.org/src/gst-plugins-good/gst-plugins-good-$GST_GOOD.tar.gz

fi

if [ ! -e gst-plugins-bad-$GST_BAD.tar.gz ]

then

wget http://gstreamer.freedesktop.org/src/gst-plugins-bad/gst-plugins-bad-$GST_BAD.tar.gz

fi

if [ ! -e gst-plugins-ugly-$GST_UGLY.tar.gz ]

then

wget http://gstreamer.freedesktop.org/src/gst-plugins-ugly/gst-plugins-ugly-$GST_UGLY.tar.gz

fi

if [ ! -e gst-ffmpeg-$GST_FFMPEG.tar.gz ]

then

wget http://gstreamer.freedesktop.org/src/gst-ffmpeg/gst-ffmpeg-$GST_FFMPEG.tar.gz

fi

sudo mkdir /opt/gstreamer

if [ ! -e gstreamer-$GST_CORE ]

then

tar zxvf gstreamer-$GST_CORE.tar.gz

cd gstreamer-$GST_CORE

./configure --prefix=/opt/gstreamer/gstreamer-$GST_CORE

make

sudo make install

cd ..

fi

if [ ! -e gst-plugins-base-$GST_BASE ]

then

tar zxvf gst-plugins-base-$GST_BASE.tar.gz

cd gst-plugins-base-$GST_BASE

PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-$GST_CORE/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-$GST_CORE

make

sudo make install

cd ..

fi

if [ ! -e gst-plugins-good-$GST_GOOD ]

then

tar zxvf gst-plugins-good-$GST_GOOD.tar.gz

cd gst-plugins-good-$GST_GOOD

PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-$GST_CORE/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-$GST_CORE

make

sudo make install

cd ..

fi

if [ ! -e gst-plugins-bad-$GST_BAD ]

then

tar zxvf gst-plugins-bad-$GST_BAD.tar.gz

cd gst-plugins-bad-$GST_BAD

PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-$GST_CORE/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-$GST_CORE

make

sudo make install

cd ..

fi

if [ ! -e gst-plugins-ugly-$GST_UGLY ]

then

tar zxvf gst-plugins-ugly-$GST_UGLY.tar.gz

cd gst-plugins-ugly-$GST_UGLY

PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-$GST_CORE/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-$GST_CORE

make

sudo make install

cd ..

fi

if [ ! -e gst-ffmpeg-$GST_FFMPEG ]

then

tar zxvf gst-ffmpeg-$GST_FFMPEG.tar.gz

cd gst-ffmpeg-$GST_FFMPEG

PKG_CONFIG_PATH=/opt/gstreamer/gstreamer-$GST_CORE/lib/pkgconfig:/usr/lib/pkgconfig:/usr/share/pkgconfig ./configure --prefix=/opt/gstreamer/gstreamer-$GST_CORE

make

sudo make install

cd ..

fi

sudo cp /opt/gstreamer/gstreamer-$GST_CORE/lib/gstreamer-$GST_CORE/* /opt/gstreamer/gstreamer-$GST_CORE/lib/

sudo ln -s /opt/gstreamer/gstreamer-$GST_CORE/lib /opt/gstreamer/current

/opt/gstreamer/gstreamer-$GST_CORE/bin/gst-inspect --gst-plugin-path=/opt/gstreamer/current

Mise en place du test

Pour tester ce codec, j'utilise le framework GStreamer et deux scripts shell tournant sur deux machines différentes. Le script rtpserver.sh prend comme source le microphone par défaut de votre machine, encode le flux en Speex, puis le diffuse en RTP/UDP vers la seconde machine. Le script rtpclient.sh récupére le flux RTP/UDP venant de la première machine, le décode et le diffuse sur la sortie son par défaut.

Le script rtpserver.sh:

#!/bin/sh

SEND_TO_ADDR=192.168.29.111
SEND_TO_RTP_PORT=5003
SEND_TO_RTCP_PORT=5004
RECV_FROM_RTCP_PORT=5005

ENCODER=speexenc
PAYLOADER=rtpspeexpay

SPEEX_PARAMS="quality=4 vad=true dtx=true"
SPEEX_CAPS="audio/x-raw-int,rate=16000"

ENCODER_PARAMS=${SPEEX_PARAMS}
RTP_PARAMS="latency=200"
AUDIO_CAPS=${SPEEX_CAPS}

gst-launch -v  gstrtpbin name=rtpbin ${RTP_PARAMS} \
alsasrc \
! queue ! audioresample ! ${AUDIO_CAPS} ! ${ENCODER} ${ENCODER_PARAMS} ! ${PAYLOADER} \
! rtpbin.send_rtp_sink_1 \
rtpbin.send_rtp_src_1 ! udpsink port=${SEND_TO_RTP_PORT} host=${SEND_TO_ADDR} \
rtpbin.send_rtcp_src_1 ! udpsink port=${SEND_TO_RTCP_PORT} host=${SEND_TO_ADDR} sync=false async=false \
udpsrc port=${RECV_FROM_RTCP_PORT} ! rtpbin.recv_rtcp_sink_1

Le script rtpclient.sh:

#!/bin/sh

SEND_TO_RTCP_PORT=5005
RECV_FROM_ADDR=192.168.29.146
RECV_FROM_RTP_PORT=5003
RECV_FROM_RTCP_PORT=5004
AUDIORATE=16000

gst-launch-0.10 -v gstrtpbin name=rtpbin latency=200 \
udpsrc caps="application/x-rtp, media=(string)audio, clock-rate=(int)${AUDIORATE}, encoding-name=(string)SPEEX, encoding-params=(string)1, ssrc=(guint)419764010, payload=(int)110, clock-base=(guint)3478167082, seqnum-base=(guint)57894" port=${RECV_FROM_RTP_PORT} \
! rtpbin.recv_rtp_sink_1 \
rtpbin. ! rtpspeexdepay ! decodebin ! alsasink \
udpsrc port=${RECV_FROM_RTCP_PORT} ! rtpbin.recv_rtcp_sink_1 \
rtpbin.send_rtcp_src_1 ! udpsink port=${SEND_TO_RTCP_PORT} host=${RECV_FROM_ADDR} sync=false async=false

Attention, il faut lancer le script rtpclient.sh avant le rtpserver.sh . Les variables suivantes sont modifiables dans les scripts:

Script rtpserver.sh:
SEND_TO_ADDR: Adresse IP du client
SEND_TO_RTP_PORT: Numéro de port sur lequel les paquets RTP seront envoyés
SEND_TO_RTCP_PORT: Numéro de port sur lequel les paquets RTCP seront envoyés
RECV_FROM_RTCP_PORT: Numéro de port sur lequel les paquets RTCP seront reçus
SPEEX_PARAMS: Paramètres du plugin d'encodage Speexenc
SPEEX_CAPS: Caps du flux audio (audio rate)

Script rtpclient.sh:
SEND_TO_RTCP_PORT: Numéro de port sur lequel les paquets RTCP seront envoyés
RECV_FROM_ADDR:  Adresse IP du serveur
RECV_FROM_RTP_PORT: Numéro de port sur lequel les paquets RTP seront reçus
RECV_FROM_RTCP_PORT: Numéro de port sur lequel les paquets RTCP seront reçus
AUDIORATE: Audio rate, mettre la même valeur que celle dans le caps du serveur

Résultats des tests

Le premier test a été effectué avec un audio rate de 44000 (bref un taux d'échantillonnage proche de celui d'un CD audio).

Paramètres:
rate=44000 / vad=false / dtx=false
Tests:
En jouant sur l'option quality, on obtient
quality=10 -> bande passante de 80 Kbps
quality=8 -> bande passante de 60 Kbps
quality=6 -> bande passante de 50 Kbps
quality=4 -> bande passante de 40 Kbps
quality=3 -> bande passante de 36 Kbps
quality=2 -> bande passante de 35 Kbps
Conclusion:
On obtient une dégradation de la qualité de réception de la voix en dessous d'une valeur de quality de 4. Il est clairement dit dans la documentation que la qualité > 4 son a réserver pour les sources audio plus complexes que la voix humaine (musique, film...). Par contre la consommation de CPU est plus importante (rapport de 5 contre 1 entre quality=10 et quality=1).
La bande passante est constante (à quelques Kbps) que l'on parle ou que l'on ne parle pas.

Paramètres:
En jouant sur les paramètres vad et dtx, on va essayer d'optimiser la bande passante en gardant la même qualité.
VAD (dixit Wiki): "Quand cette option est activé, le VAD détecte quand l'audio encodé est du dialogue ou du silence/bruit de fond. VAD est toujours implicitement activé en encodage VBR, donc cette option est utile uniquement en mode non VBR. Dans ce cas Speex détecte les périodes sans dialogue et les encode avec le strict minimum de bits pour reproduire le bruit de fond. Cette fonction est appelée Comfort Noise Generation (CNG)."
DTX (dixit Wiki): "la transmission discontinue est une fonctionnalité qui s'ajoute aux
opérations de VAD et de VBR, qui permet de couper la transmission
complètement quand le bruit de fond est stationnaire. Dans un fichier,
5 bits sont utilisés pour chaque frame manquante (correspondant à 250 bits/s)"
Tests:
On ajoute les paramètres vad=true et dtx=true au niveau du serveur (SPEEX_PARAMS)
La bande passante reste la même (40 Kbps) quand on parle, par contre elle passe à 23 Kbps quand on ne parle pas.
Conclusion:
Les algorithmes VAD et DTX fonctionnent très bien. Ils permettent de gagner de la bande passante quand l'activité au niveau sonore est faible (ce qui est le cas dans une conversation ou, normalement, une seule personne parle à un instant t).

En conservant les paramètres du premier test (quality=4, vad=true, dtx=true), on change seulement l'audio rate (au niveau du serveur et du client).

Paramètres:
rate=16000
Tests:
Bande passante de 28 Kbps lorsque l'on parle, 17 Kbps pendant les silences.
Conclusion:
La qualité reste excellente. Sur une conversation (voix humaine), on ne voit pas la différence avec un rate de 44000 (44 KHz).

Paramètres:
rate=8000
Tests:

Bande passante de 23 Kbps lorsque l'on parle, 16 Kbps pendant les silences.

Conclusion:
La qualité est dégradée mais la conversation reste compréhensible. On gagne seulement 5 Kbps par rapport au test précédant.

Pour conclure

D'après les tests effectués, le meilleur compromis bande passante qualité est:

• audio rate = 16000 (16 Khz)
• quality = 4
• vad = true
• dtx = true