Comparaison de performances sur des serveurs AWS, Azure et Jotelulu

Quel fournisseur offre les meilleures performances sur des machines virtuelles ? Nous avons comparé Microsoft Azure, Amazon Web Services (AWS) et Jotelulu.

Chez Jotelulu, nous remettons tout en question pour vous offrir le meilleur service possible, ce qui nous pousse à adopter une stratégie d’innovation et d’amélioration en continu. Dans cette optique, nous vérifions en permanence les fonctionnalités et les optimisations des autres acteurs du secteur cloud, ce qui se traduit souvent par des analyses et des comparaisons telles que cette entrée de blog.

Cela dit, nous allons présenter les données obtenues à partir d’un test de performance de machines virtuelles Microsoft Windows Server sur différents fournisseurs de services cloud :

Les fournisseurs cloud choisis pour cette première comparaison sont :

• Microsoft Azure.
• Amazon Web Services (AWS).
• Jotelulu.

Les machines sur lesquelles les tests seront effectués ont les caractéristiques suivantes pour assurer une homogénéité de l’échantillon :

• Windows Server 2019 Standard.
• 4 cœurs.
• 16 Go de RAM.
• Disques SSD.

Pour établir les performances de chaque serveur et effectuer les tests, les outils sélectionnés et les paramètres analysés sont les suivants :

• AS SSD Benchmark sera utilisé pour effectuer les tests de transfert de disques (#1). L’outil peut être téléchargé à partir de la source suivante : AS SSD Benchmark.
• CineBench sera l’outil sélectionné pour tester la capacité de traitement du CPU et de la mémoire principale (#2). L’outil peut être téléchargé à partir de la source suivante : CineBench.
• Test LAN sera l’outil sélectionné pour effectuer les tests de connexion réseau et de transfert de données (#3). L’outil peut être téléchargé à partir de la source suivante : Test LAN.

REMARQUE : nous laissons le détail et l’analyse de chacun des outils utilisés dans une annexe à la fin de cet article (après les conclusions).

Comparaison de performances AWS, Azure et Jotelulu.

Après avoir présenté les bases de l’analyse et la façon dont nous allons travailler, examinons les résultats de chacun des tests effectués:

#1. Transferts de disques :

Pour les tests de transfert de données sur disques, nous allons nous servir de l’outil AS SSD Benchmark, qui nous permettra de vérifier les performances de lecture et d’écriture du disque, à la fois de manière séquentielle et aléatoire.

Différents tests ont été réalisés avec différents volumes de données :

1 Go (taille par défaut).

3 Go.

5 Go.

10 Go.

Pour chacun d’entre eux, nous avons mesuré, comme indiqué précédemment :

• Test Seq : Mesure le temps nécessaire pour écrire et lire un fichier de 1 Go.
• Test 4K : Effectue un test similaire sur des blocs aléatoires de 4K.
• Test 4K-64Thrd : Similaire au test 4K, mais répartit la charge sur 64 sous-processus.
• Test Time : Mesure la réactivité à la compression des données.

Sur la base de toutes ces données, un « score » est établi pour la lecture, l’écriture et la moyenne.

Dans notre cas, nous valorisons particulièrement le « score » car il nous donne cette moyenne en fonction de chacun de ces points traités.

Les résultats de tous les tests avec différentes quantités de données sont très similaires, présentant de légères variations, mais se comportant de manière similaire dans l’ensemble, c’est pourquoi nous ne présenterons que les données des tests de 5 Go pour économiser du temps au lecteur.

Transfert de disques avec 5 Go :

Comme pour les autres tests, dans la comparaison de performance avec des transferts de 5 Go, nous pourrions décrire un classement dans lequel Jotelulu (1) se démarque avec une performance de 339 points en moyenne contre 173 pour Azure (2) et 15 pour AWS (3).

Image. Capture écran comparatif AWS AZURE JOTELULU 5GB

Si l’on se concentre sur l’image où l’on peut voir les mesures prises, on peut observer que les temps d’accès de Jotelulu sont cinq fois plus rapides (x5) que ceux d’Azure et douze fois supérieurs (x2) à ceux d’AWS, qui ont donné des performances très médiocres dans tous les tests de mouvement de données.

 Tableau. Comparaison des transferts de disques pour 5 Go

#2. Capacité de traitement du CPU :

Comme mentionné précédemment, pour vérifier les performances du processeur pour Jotelulu, AWS et Azure, nous allons nous servir de CineBench, qui fournit des résultats assez révélateurs.

Image. Exécution de AS SSD Benchmark sur une instance AWS

Tableau. Comparaison des performances CPU (multi-core).

En répétant le test en mode mono-processeur (single core), la situation change radicalement. Dans ce cas, Azure (1) montre un avantage clair sur Jotelulu (2) et AWS (3) se retrouve en troisième position.

Tableau. Comparaison des performances CPU (multi-core).

Cependant, nous pouvons voir qu’en ce qui concerne le facteur MP Ratio, qui est une relation entre les performances des modes mono-processeur et multi-processeur, AWS (1) est positionné légèrement devant Jotelulu (2) et que Azure (3) est très loin derrière les deux.

Tableau. Comparaison du MP Ratio

Sur cette base, on peut dire qu’AWS offre des performances légèrement supérieures à celles de Jotelulu en moyenne, mais que Jotelulu offre de meilleures performances dans les opérations qui impliquent une utilisation complète des fonctionnalités du CPU.

#3. Transfert de données en réseau:

Le point suivant consiste à mesurer la vitesse de transfert de données à travers le réseau, pour cela nous utiliserons l’outil LAN Speed Test qui permet de mesurer le transfert à travers différents supports (disques durs, USB et cartes réseau).

NOTE : L’application de test permet de travailler avec des valeurs minimales, maximales et moyennes, la moyenne étant celle qui a été prise pour ce benchmarking.

Pour le deuxième test, nous avons décidé de déplacer des données vers une unité de disque à distance (Unité Z) située en dehors des trois infrastructures afin d’éviter que les données soient faussées.

Dans le test, des données aléatoires sont écrites dans un fichier de 2 Go, puis les données sont lues, des mesures des taux de transfert étant prises.

Dans cette nouvelle série de tests, Jotelulu n’a pas été aussi bien classée, car pour l’écriture, Azure (1) est arrivée en première position, Jotelulu (2) en deuxième place et AWS (3) en dernier.

Lors du test de lecture, Azure (1) est arrivée en première position, AWS (2) en deuxième position et Jotelulu (3) en troisième position, avec une différence d’environ 10% entre la première et la deuxième et de 30% entre la première et la troisième.

Tableau. Comparaison de transfert de 2 Go sur une unité à distance

Conclusion :

Dans cet article court, nous avons présenté une série d’outils dédiés au benchmarking, que nous avons sélectionnés pour tester certains des points clés de nos machines virtuelles, en confrontant les données avec les résultats des mêmes tests sur les plateformes cloud de Microsoft Azure et Amazon Web Services (AWS).

Il est important de souligner que, pour ces tests, des machines virtuelles ayant les mêmes caractéristiques ont été déployées chez les trois fournisseurs de services cloud, afin de s’assurer que les tests aient lieu dans des conditions d’égalité.

Il convient également de noter que des mesures différentes ont été observées lors de chaque exécution des outils de benchmarking, ce qui a conduit à leur exécution plusieurs fois et à la sélection de la mesure la plus proche de la moyenne de toutes les valeurs, afin d’être aussi fidèles que possible à la vérité.

Après avoir observé les résultats de tous les tests, on peut déterminer que les serveurs de Jotelulu sont bien positionnés, présentant des résultats plus que corrects.

Jotelulu se situe très largement en tête en termes de transfert de données sur disque, laissant AWS à la traîne et présentant, du moins dans nos tests, certains problèmes de comportement. En ce qui concerne l’opération du processeur, il convient de noter que Jotelulu se classe en première position en termes d’opération Multi Core, mais en deuxième position en termes de comportement Single Core, avec une performance totale légèrement inférieure à celle d’Azure. Enfin, en ce qui concerne le transfert de données sur réseau, Jotelulu est devancé par Azure avec environ 15 % de rendement inférieur à celui-ci.

Nous espérons que cette analyse apportera un peu de lumière quand à la  mise en place de vos propres analyses.

Annexe – Détail des outils utilisés :

**Vous trouverez ci-dessous la description et le détail des outils utilisés pour l’analyse.

AS SSD Benchmark :

AS SSD Benchmark permet de tester les performances de lecture et d’écriture du disque, à la fois de manière séquentielle et aléatoire, et ce en bloquant l’utilisation de la mémoire cache, ce qui permet de connaître avec certitude les taux d’IOP fournis par le disque.

Pour effectuer ces mesures, AS SSD Benchmark écrit et lit un fichier d’une taille donnée (à partir de 1 Go) avec des blocs de 4 Ko choisis au hasard. Pour cela, il effectue les tests en utilisant un ou soixante-quatre fils, effectuant des mesures pendant qu’il le fait et obtenant ainsi le temps d’accès au SSD.

Dans la batterie de tests supplémentaires, certains fichiers lourds sont copiés, ainsi que de nombreux petits fichiers ; une combinaison de tailles de fichiers, ainsi que la compression de données, est effectuée pour examiner le comportement de l’unité.

Le programme effectue plusieurs passages :

• Seq-test : On mesure le temps nécessaire pour écrire et lire un fichier de 1 Go.
• 4K : On effectue un test similaire sur des blocs aléatoires de 4K.
• 4K-64Thrd : C’est similaire au test 4K, mais en répartissant la charge sur 64 sous-processus.
• Time : On mesure la puissance de réponse à la compression des données.

Sur la base de toutes ces données, on établit un « score » pour la lecture, l’écriture et la moyenne.

Les mesures peuvent être effectuées avec des transferts de données de:

• 1 Go (taille par défaut).
• 3 Go.
• 5 Go.
• 10 Go.

REMARQUE: si le lecteur souhaite effectuer ces tests sur des machines, il faut tenir compte du fait qu’ils peuvent prendre beaucoup de temps.

CineBench:

CineBench est l’un des logiciels de référence pour l’évaluation des capacités hardware de tous types d’équipements. Ce logiciel est généralement utilisé dans le benchmarking des systèmes pour établir des comparaisons, par exemple lors de la rédaction de rapports de revues et de sites web spécialisés, ainsi que par les administrateurs pour l’optimisation de leurs systèmes ou l’évaluation de nouveaux systèmes avant l’achat.

Au moyen d’une série de tests, ce logiciel exploite les capacités générales du CPU en effectuant des tâches de rendu, permettant de prendre des mesures et de profiter des capacités de plusieurs cœurs de CPU, ainsi que des fonctions de processeur modernes.

Le logiciel teste essentiellement le CPU en produisant une seule image à l’aide des dernières techniques de traçage. Avec ce travail, le programme analyse la façon dont le CPU gère les threads et la mémoire.

CineBench permet de travailler en mode multiprocesseur et monoprocesseur, et dans ces tests, nous avons effectué les deux méthodes pour obtenir des conclusions plus approfondies, qui incluront le « MP Ratio », une mesure de la performance en mode multiprocesseur et monoprocesseur.

Test LAN:

L’outil LAN Speed Test est conçu pour mesurer le transfert à travers différents moyens tels que les disques durs, les unités USB et les cartes réseau LAN, avec ou sans fil.

Pour effectuer ces mesurements, il faut sélectionner un dossier de destination, qui peut être local ou distant, et il est nécessaire qu’il soit distant (comme un dossier partagé, par exemple) pour effectuer les tests réseau.

Une fois la destination sélectionnée, le programme crée un fichier en mémoire. Ensuite, il le transfère dans les deux sens, en annulant également l’utilisation du cache du système d’exploitation pour éviter les fausses données.

Autres outils:

Au départ, nous avons envisagé d’utiliser d’autres outils de benchmarking tels que Sandra, mais nous avons finalement dû abandonner cette idée car les outils de benchmarking incluent généralement des batteries de tests qui stressent la machine, ce qui provoque la déconnexion des instances par les hyperviseurs des fournisseurs cloud pour éviter les problèmes.