How to conver VMDK VirtualBox VM to VMware Esxi 4.1 Server

Après plusieurs tentatives, le plus simple fut d'utiliser l'outils VBoxManage.exe avec l'option clonehd.

Se positionner dans le répertoire d’installation de VirtualBox (par défaut : ‘C:\Program Files\Oracle\VirtualBox\.

VBoxManage.exe clonehd <chemin complet du fichier source> <chemin complet du fichier de destination> — format VMDK –variant Standard


Copier le fichier dans le datastore de Esxi.
Créer une nouvelle machine en utilisant un disque existant (le disque créé précédemment).

Lancer la machine !

Bonheur, ça fonctionne.

Y'a quoi dans mon pcap

Parfois, un éditeur hexadécimal  pour fouiller dans un fichier data (raw) qui provient d'un pcap ça fait mal à la tête.
York est passé par là. A noter qu'il est possible de faire directement des captures avec ce logiciel.

Quelques précisons, in english :

York::Log all network traffic

Description:

• Log source, destination [fqdn or ip address] and packet size of all network traffic on your network, of course also outbound traffic. The network card will be set into promiscuous mode.
• Save sniffed HTTP and FTP files. Just for fun, pictures are shown in a slideshow and in a screensaver like window.
• Sniff for HTTP, FTP, POP3, SMTP, SMB, VNC and AIM password/hash and HTTP cookies like 'GX'.
• Select a client and follow his clicks in your browser. [WebSession]
• Screensaver included. Shows sniffed pictures in a slideshow.
• For advanced user: You can capture traffic into a pcap file, send a pcap file and replay a pcap file.
• For advanced user: You can restrict captured traffic by tcpdump filters.

Please note, WinPcap [www.winpcap.org] is used to get the network traffic. The Setup will install WinPcap automatically.
The columns in the log file are tabulator separated for easy import into Excel or so.
One line in the log file looks like this:

19.08.2003 02:49 [0:01:03] theszdbg <-> www.traffichome.com http 55 kByte 56329 Bytes

If your need more or other information in the logfile or have feature requests, please send me an mail.

Active connections and their data volume:

Sniffed HTTP and FTP files:

Sniffed HTTP, FTP, POP3, SMTP, SMB, VNC and AIM passwords/hash's:

Slideshow of sniffed HTTP and FTP pictures:

Source : http://thesz.diecru.eu/content/york.php

Mediaroom Troubleshooting Tools: Client Trace Log Viewer

by Warren Johns

During my previous blog posts we have discussed what Microsoft Mediaroom is and some of its features which help differentiate it from standard television providers. In my next set of posts we’ll discuss some of the tools that Mediaroom support personnel can use to troubleshoot various aspects of the Mediaroom environment. Over the last couple of months, I’ve had occasion to work with a customer that is new to the Mediaroom environment, and the one tool that we are constantly using is called the Client Trace Log Viewer, so I figured it would be a great place to start our Mediaroom tools discussions.
Often times, we are asked to investigate why end user set top boxes (STBs) are not performing as expected; slow performance, missing guide information, VOD playback, etc. All of these issues are visible to the end users eye but are hard to quantify without any real data from the components themselves, this is where the Client Trace Log Viewer (CTL Viewer) comes into play. In the next couple of sections we’ll discuss CTLs features and how to configure, view, and filter the captured events.

Features

The CTL Viewer allows support personnel to gather real-time debugging information from any STB in the Mediaroom environment. We can easily enable CTL viewing on any specific STB we choose. This ability to drill down to individual devices is particularly useful as often times end users have multiple units. Once CTL viewing is enabled, it changes the logging state of the STB and tells the device to start collecting trace logging of the actions it performs and to pass this information to the Mediaroom servers. Nothing is physically connected to the STB nor is there any additional tracing software needed (all logging is implemented server-side). This means that the operator can have multiple sinks and filters running without fear of performance impact.

Configuring Client Trace Log Viewer

The first step is to configure the CTL Viewer (generally the executable will be located in the Mediaroom Resource Kit)

1. Run ClientTraceLogViewer.exe
2. Select Connection > Open Serverlayout
3. Navigate to the serverlayout.xml file (the path C:\Program Files\Microsoft IPTV Services\config\serverLayout.xml)

Enabling Logging

1. From the Menu bar, select Connection > Set Client Log State
2. You uniquely identify the STB using the external client ID. This information can found in the Branch SMT
3. Select the length of time for the STB to log
4. Click “Client Filter”. You can set up your filters based on the type of event as well as the severity of the event
5. Click OK twice. Now select the “Start Retrieving Events” icon. The STB will begin logging the events and push them forward to the server

6. To stop logging, select the “Stop Retrieving Events” icon from the Menu bar.
7. If you wish to save the events for future viewing, click the Save button from the Menu bar

Viewing Events

1. If you saved the events as per Step 7 above, they can be viewed as a text file. Otherwise you can use the CTL Viewer to review the events captured
2. Select Events > Retrieve Events
3. Ensure the information in the Connect dialog box is correct and select OK
4. If you wish to further filter the information, choose View > Options
5. Select the Filters tab, filter based upon your needs
6. In the CTL Viewer, all information in the left pane represents Web Service calls and TV2 events. The right pane is for logging message. If you select an individual message, the details will be presented Details pane in the bottom third of the viewer

Hopefully this overview gives you at least a basic understanding of the Client Trace Log Viewer and its usage. In the following months we’ll continue to investigate more troubleshooting tools and how they relate to Mediaroom. If you wish to learn more about the Mediaroom platform, please visit http://www.microsoft.com/Mediaroom/

Thansk to  Warren Johns from http://www.opsvault.com/mediaroom-troubleshooting-tools-client-trace-log-viewer/

Latence système, quelques chiffres

Objet	Latence	Débit
Internet	80 ms	2 Mo/s
Disque10krpm	3 ms	50 Mo/s
Accès au swap	8 ms	50 Mo/s
Disque SSD	0.5 ms	100 Mo/s
Ethernet gigabit	1 ms	100 Mo/s
Interface pci	0.1 µs	133 Mo/s
malloc/mmap	0.1 µs
fork	0.1 ms
gettimeofday	1 µs
context switch	3 µs
RAM	80 ns	8 Go/s
Interface pci-express 16x	10 ns	8 Go/s
Cache L2	5 ns
Cache L1	1 ns
Registre processeur	0.3 ns	40 Go/s

Mode d'emploi tcpdump & tshark

• TCPDUMP

Pour installer TcpDump sous Debian / Ubuntu :
sudo apt-get install tcpdump

Attention, pour utiliser TcpDump, il faut être root. Sous Ubuntu, il suffit de mettre sudo devant le nom de la commande. (sudo tcpdump ....)


Voici les lignes de commande que j'utilise pour TcpDump :

Pour capturer la totalité des paquets (-s 0 = illimité) :
# tcpdump -i eth0 -n -s 0 -w fichier.cap

Pour ne capturer que les 100 premiers octets de chaque paquets :
# tcpdump -i eth0 -n -s 100 -w fichier.cap

Pour capturer la totalité des paquets qui viennent de l'IP 192.168.1.1 et du port 5001 :
# tcpdump -i eth0 -n -s 0 -w fichier.cap host 192.168.1.1 and port 5001

Pour ne capturer que les 100 premiers octets de chaque paquets qui viennent de l'IP 192.168.1.1 et du port 5001 :
# tcpdump -i eth0 -n -s 100 -w fichier.cap host 192.168.1.1 and port 5001

Pour ne capturer que les paquets IGMP (en totalité) :
# tcpdump -i eth0 -n -s 0 -w fichier.cap igmp

Pour ne capturer qu'un certain nombre de paquets, rajouter l'option -c suivi du nombre de paquets
-c 10000 : 10 000 paquets vidéos UDP (MPEG2-TS) = 13,2 Mo
-c 100000 : 100 000 paquets vidéos UDP (MPEG2-TS) = 132,1 Mo

• eth0 représente l'interface Ethernet sur laquelle je capture le trafic
• fichier.cap le chemin/nom du fichier crée
• -n = Ne pas convertir les adresses (comme l'IP, le port, ect...) vers des noms.

• Tshark

Pour installer Tshark sous Windows :
Installer tout simplement wireshark

Pour installer Tshark sous Debian / Ubuntu :
sudo apt-get install tshark

Pour capturer la totalité des paquets et faire des fichier horodatés de 100 Mo sans limite :

Sous windows : "c:\Program Files\Wireshark\tshark.exe" -i 2 -b filesize:100000 -n -w c:\captures\fichier.cap
Sous linux : # tshark -b filesize:100000 -i eth0 -n -w fichier.cap

Créer un buffer circulaire de 10 fichiers de 100000 Mo :

Sous windows : "c:\Program Files\Wireshark\tshark.exe" -i 2 -b filesize:100000 -b files:10 -n -w c:\captures\fichier.cap
Sous linux : # tshark -b filesize:100000 -b files:10 -i eth0 -n -w fichier.cap

La capture change de fichier tous les 100 Mo et seuls les 10 derniers fichiers sont conservés.
Attention, si tshark est arrêté et redémarré, on a 10 nouveaux fichiers (les 10 de la précédente commande sont gardés indéfiniment)

Faire une capture de 100 Mo puis arrêter en affichant les statistiques RTP (perte de paquets) :

Sous windows : "c:\Program Files\Wireshark\tshark.exe" -i 2 -n -w test.cap -a filesize:100000 -z rtp,streams
Sous linux : # tshark -i eth0 -n -w test.cap -a filesize:100000 -z rtp,streams

Code: [Sélectionner]

# tshark -i eth0 -n -w test.cap -a filesize:100000 -z rtp,streams
Running as user "root" and group "root". This could be dangerous.
Capturing on eth4
73938 packets captured
========================= RTP Streams ========================
    Src IP addr  Port    Dest IP addr  Port       SSRC          Payload  Pkts         Lost   Max Delta(ms)  Max Jitter(ms) Mean Jitter(ms) Problems?
  84.96.146.150  5000   233.136.0.116 65000 0x1324FE6A MPEG-II transport streams 73879     0 (0.0%)            7.39            0.58            0.17
==============================================================

Faire une capture de 10 min puis arrêter en affichant les statistiques RTP (perte de paquets) :

Sous windows : "c:\Program Files\Wireshark\tshark.exe" -i 2 -n -w test.cap -a duration:600 -z rtp,streams
Sous linux : # tshark -i eth0 -n -w test.cap -a duration:600 -z rtp,streams


Vérifier les pertes de paquets du flux TV pendant 10minutes (statistiques RTP) :

Sous windows : "c:\Program Files\Wireshark\tshark.exe" -i 2 -a duration:600 -q -z rtp,streams
Sous linux : # tshark -i eth0 -a duration:600 -q -z rtp,streams

Code: 

# tshark -i eth0 -a duration:600 -q -z rtp,streams
Running as user "root" and group "root". This could be dangerous.
Capturing on eth0
141961 packets captured
========================= RTP Streams ========================
    Src IP addr  Port    Dest IP addr  Port       SSRC          Payload  Pkts         Lost   Max Delta(ms)  Max Jitter(ms) Mean Jitter(ms) Problems?
  84.96.146.150  5000   233.136.0.116 65000 0x1324FE6A MPEG-II transport streams 141656   639 (0.4%)          922.74            2.27            0.26 X
==============================================================
Ne pas afficher les paquets capturés (pour batch) : rajouter l'option -q

TAILLE DES PAQUETS CAPTURES :
modifier l'argument -s pour la taille de la capture : exemple -s 68 pour limiter a 68 octets (valeur min) ou -s 0 pour tout capturer

FILTRE DE CAPTURE
- Pour capturer la totalité des paquets qui viennent de l'IP 192.168.1.1 et du port 5001 :
=> tcpdump -i eth0 -n -s 0 -w fichier.cap host 192.168.1.1 and port 5001
- Pour ne capturer que les 100 premiers octets de chaque paquets qui viennent de l'IP 192.168.1.1 et du port 5001 :
 => tcpdump -i eth0 -n -s 100 -w fichier.cap host 192.168.1.1 and port 5001
- Pour ne capturer que les paquets IGMP (en totalité) :
 => tcpdump -i eth0 -n -s 0 -w fichier.cap igmp

DUREE DE LA CAPTURE :

L'argument -c fixe la durée de la capture a xxx paquets quel ques soit la taille des paquets.
Pour information, 30000 paquets représente 50 mo  avec des paquets de 1500 octets
Si on prend des petits paquets (VoIP par exemple) ou si on limite la taille de la capture, il est possible d'augmenter cette valeur par exemple à 300 000 pour une taille identique.

Code:

# Ecriture du cache sur le disque pour que dump ne se produise pas pendant l'écriture
/bin/sync
/usr/bin/sudo /usr/bin/nice -n -10 /usr/bin/ionice -c1 /usr/sbin/tcpdump -i eth0 -n -s 0 -w /tmp/capture.cap host 87.88.221.5 or 89.80.250.70 and udp -c 90000 2> /tmp/drop_pendant_capture.txt

Pour arrêter proprement la capture si un script lance tcpdump en boucle : la commande a taper est : /usr/bin/sudo /usr/bin/killall -s INT tcpdump

Merci à Vivian du forum iperf

Conseils pour l'analyse avec Wireshark / TcpDump

Vous vous êtes peut etre intéressé à analyser votre trafic ?
En ADSL, l'utilisation de Wireshark (nouveau nom pour Ethereal) ne pose pas de problème particulier si votre PC est puissant.

En fibre optique avec des débits de 50 Mb/s ou 100 Mb/s Wireshark n'arrive pas à capturer tous les paquets.

Comment voir que l'on ne capture pas tous les paquets ?
Après avoir terminé la capture, vous avez "Drop : 0" qui s'affiche en abs de la fenetre wireshark.

Si c'est 0, c'est bon, aucun paquet na été ignoré. Si vous avez "Drop : 5473", vous avez 5473 paquets qui ne sont pas présents 

Quelques suggestions :

• Décocher la case "Update list of packets in real time" dans la fenetre d'option de capture
• Ne pas mettre de filtre lors de la capture (ne pas utiliser les "read filters" ni les "capture filters")
• Arrêter les programmes inutiles afin de libérer de la puissance CPU et de la RAM qui pourra "cacher" les écriturres disque
• Pour les PC avec 2 disques dur, utiliser un disque pour le transfert http / ftp et un pour Wireshark (changer l'emplacement du fichier temporaire)
• Windows uniquement : augmenter la tailler du buffer "Buffer size" dans la fenêtre d'option de capture
• Si vous avez plusieurs carte réseau, tester avec un autre, elle ne consomme pas toute autant de CPU pour un même trafic

Si malgré ces conseils vous perdez encore des paquets, il reste encore 6 solutions a utiliser éventuellement ensemble :

- Réduire la taille des paquet capturé au strict minimum pour votre usage. Par exemple en n'enregistrant que les 100 premiers octets de chaque paquet contre plus de 1500 habituellement, vous limitez fortement les écriture sur le disque qui sont critique pour la perte de paquets lors de la capture.

- Si vous avez beaucoup de RAM, vous pouvez créer un RAMdisk ou vous demanderez à wireshark d'écrire son fichier. Un RAMdisk est un disque de quelques centaines de Mo qui va puiser l'espace en RAM (c'est donc d'accès immédiat avec un débit de plusieurs Go par seconde). Attention, la mémoire réservée au Ramdisk n´est plus utilisable comme mémoire vive centrale par votre systéme d'exploitation. Faite donc attention a laisser au moins 512 Mo à Windows XP / linux sans quoi il va swaper et la c'est la catastrophe pour la capture. (pour vista laissez 1 Go au système est un minimum)
Mode d'emploi pour crée un ramdisque : pour Windows / pour linux / Pour MacOS


- Utiliser un outil spécialisé dans la capture (Wireshark n'est pas optimiser la capture, pour ne pas avoir de perte, il est conseillé de passer par un outil qui fait de la capture uniquement, source : http://wiki.wireshark.org/Performance). Une fois la capture réalisée vous pourez l'ouvrir avec Wireshark pour apliquer vos filtres et analyser la trace. Ces outils sont :

• DumpPcap sous linux (et windows ?) installé avec Wireshark
• WinDump sous windows
• TcpDump sous linux.

- Sous linux prioriser l'application tcpdump :

Code: [Sélectionner]

# Ecriture du cache sur le disque pour que dump ne se produise pas pendant l'écriture
/bin/sync

# Démarrage de la capture
/usr/bin/sudo /usr/bin/nice -n -10 /usr/bin/ionice -c1 /usr/sbin/tcpdump -i eth0 -n -s 0 -w $1/Capture.cap host 87.88.87.88 or 87.88.87.87 and udp -c 90000 2> $1/drop_pendant_capture.txt
Le fait de mettre /usr/bin/sudo /usr/bin/nice -n -10 devant la commande tcpdump priorise le CPU pour tcpdump
Le fait de mettre /usr/bin/sudo /usr/bin/ionice -c1 devant la commande tcpdump priorise l'accès disque pour tcpdump


- Utiliser un système d'exploitation Linux serveur : les OS en ligne de commande ont moins de taches faisant des accès au disque et créant des pertes de paquets.

- Sous linux supprimer la crontab afin de ne laisser que le process de capture :

sudo nano -w /etc/crontab => commenter les différentes lignes
sudo nano -w /etc/cron.d/anacron => commenter la ligne
sudo nano -w /etc/cron.d/update-motd => commenter les différentes lignes

Source : Vivien du forum iperf

Configuration du ntp sous Windows 2000

1- Aller dans le Gestionnaire des Services et mettre le Service Horloge Windows en automatique
2- Insertion du ou des serveurs ntp :

• net time /setsntp:serveur
• net time /setsntp:"serveur1 serveur2 .... "

3- Arrêt et démarrage du service ntp :

• net stop w32time
• net start w32time
• C'est à l'arrêt du service que la mise à jour se fait.

4- Paramétrage du service :

• w32tm /? : pour lire l'aide
• w32tm -period

5- Modification dans la base des registres HKEY_LOCAL_Machines --> System --> CurrentControlSet --> Services W32Time --> Parameters

           On sélectionne alors Period en le modifiant avec les paramètres ci-dessous : Par défaut : SpecialSkew

• Used to control how often the time service synchronizes. If a value is given, it must be one of the special values listed below.
• 65531, "DailySpecialSkew" = once every 45 minutes until successful one time, then once every day
• 65532, "SpecialSkew" = once every 45 minutes until successful three times, then once every eight hours (three times per day) [default]
• 65533, "Weekly" = once every week (seven days)
• 65534, "Tridaily" = once every three days
• 65535, "BiDaily" = once every two days
• 0 = once per day
• freq = freq times per day. If you choose to add a value other than any of those specified above, you must use this option.

Ne pas oublier de redémarrer le service si le paramètre Period est modifié.

Autologin :

Windows :
http://support.microsoft.com/kb/310584