Dites-nous en plus sur votre projet
Aneo est une agence conseil en transformation qui vous accompagne tout au long de la vie de vos projets sur des problématiques de :
Le + d’Aneo : le conseil sans frontière !
Notre richesse, c’est de vous proposer des équipes pluridisciplinaires, chaque membre avec une approche, une expérience et une sensibilité différente : coach agile, formateur soft skills, Data Scientist designer, Architecte etc. On mise sur la complémentarité des disciplines pour vous apporter la meilleure réponse !
Depuis 2015, Aneo est une organisation plate à gouvernance plate. Aplatir la hiérarchie, supprimer les silos, instaurer des bonus collectifs, ce nouveau modèle d’organisation avec comme objectif: apporter plus de valeur à l’entreprise, aux collaborateurs et aux clients.
Le + d’Aneo : l’inattendu !
La sérendipité, c’est « le don de faire par hasard des découvertes fructueuses ». Chez Aneo, nous croyons fermement que les meilleures solutions sont parfois les plus inattendues. Ne rien s’interdire, expérimenter, oser s’entourer de profils atypiques et avoir une obsession : apporter la juste valeur.
Ci-dessous une vue d’ensemble de l’architecture que nous allons monter :
COLLECT : on simulera un flux qui sera traité en streaming
STORE : les données seront insérées de manière pérenne dans Couchbase notre base de stockage distribuée
PROCESS : la couche processing Spark détectera les mutations au sein de la base de stockage, traitera les données et puis restituera les résultats à la volée en les injectant dans Couchbase
VISUALIZE : les résultats peuvent être visualisés en pseudo temps réel, cette partie ne rentre pas dans le cadre du tutoriel
C’est une base de stockage distribuée qui est axée sur une architecture unique et centrée sur la mémoire, scalable, haut débit au niveau des flux, et surtout basée sur du NoSQL : tous ces critères rassemblés sont idéals pour faire du stockage en temps réel. Comparé à une base de données relationnelle classique, le NoSQL est bien plus scalable et délivre des performances bien supérieures. En plus, si vous voulez analyser un large volume de données dont la structure peut changer, Couchbase est votre allié.
Spark, dont la réputation n’est plus à refaire, permet des vitesses de traitement ultra-rapides (Map-reduce) et combine SQL, Streaming et analyses Machine Learning pour traiter les données. Grâce à sa librairie « ML », il est possible d’entrainer des modèles. La librairie « Spark streaming » combinée avec le connecteur Couchbase – Spark permet de récupérer les nouvelles données provenant de Couchbase en temps réel et de les confronter au modèle Spark. De la même manière que les données peuvent être récupérées, on pourra insérer les résultats dans Couchbase depuis Spark.
Allons-y ! Il est temps de créer notre architecture Big Data Real Time !
Tous les articles de la série « Montez votre architecture Big Data temps réel » ici.
Crédit : Michel REMISE