Migration et Optimisation des Charges de Travail HPC de Deeplife vers AWS

Les objectifs

Aneo a accompagné Deeplife dans un parcours qui les a menés de l'exécution de workflows Snakemake sur un cluster Slurm local à des workflows Nextflow équivalents en termes de fonctionnalités et exécutés sur une architecture spécialement conçue sur AWS.

La continuité de la charge de travail en production a été assurée pendant le développement grâce à un exécuteur AWS-Snakemake sur mesure, permettant d'exécuter des workflows Snakemake sur AWS sans logiciels tiers.

Les workflows désormais obsolètes n'avaient pas accès de manière rapide et fiable aux sources de données génomiques. Dans le cadre de la nouvelle conception d'orchestration, Aneo a mis en œuvre les moyens de procurer de manière fiable les données génomiques des fournisseurs sélectionnés par Deeplife.

Les résultats

• Une nouvelle architecture évolutive, sécurisée, fiable, optimisée et disponible sur AWS, conçue pour les grands pipelines de calculs génomiques

• Une réduction des frais généraux d'orchestration des charges de travail, entraînant une diminution significative des temps de calcul

• Un système sécurisé, rapide et facile à utiliser pour télécharger des données génomiques à partir d'archives distantes