content top

Optimizing Hadoop for MapReduce

Optimizing Hadoop for MapReduce

Finally, the “Optimizing Hadoop for MapReduce” book I’ve been working on for the past months has been published and is now available in full version.

 

You can buy the book directly from the Packt Publishing website.

=========================================================================================

Finalement, le livre “Optimizing Hadoop for MapReduce” sur lequel je travaille depuis plusieurs mois a été publié et est maintenant disponible en version finale.

Vous pouvez commander le livre directement sur le site de l’éditeur Packt Publishing.

 

RavenDB 2.x beginner's Guide

Optimizing Hadoop for MapReduce

 

Optimizing Hadoop for MapReduce Cover
Read More

Hadoop et MapReduce : HDFS

Hadoop et MapReduce : HDFS

Dans l’article précédent j’ai brièvement présenté le concept de HDFS (Hadoop Distributed Filesystem). Dans cet article nous allons le présenter un peu plus en détail.

Dans ce deuxième article de la série, nous reviendrons sur le concept déjà introduit des namenode et datanode. Puis nous introduirons un élément important, le secondary namenode.

Read More

Hadoop et MapReduce : introduction

Hadoop et MapReduce : introduction

Cet article sera le premier d’une serie qui présentent la mise en oeuvre de ce système ainsi que ses capacités adapté à de grands volumes de données (Big Data). Dans cette une introduction je vais expliquer les principes de Hadoop ainsi que son utilité. Dans la suite des articles on se focalisera sur l’aspect pragmatique de ce framework par l’élaboration d’un exemple, dont le but sera de traiter un grand volume de données. De même, dans les prochains articles, on analysera la configuration et comment le mettre en place.

Read More

Implémenter MapReduce avec TPL (Task Parallel Library)

Implémenter MapReduce avec TPL (Task Parallel Library)

 

Dans cet article je vous propose une implémentation de MapReduce avec TPL (Task Parallel Library) du framework .NET 4.0. Si vous ne connaissez pas MapReduce, vous avez toujours la possibilité de consulter mon article (partie 1 et partie 2) dédié à sa présentation et à son mode opératoire.

Read More

MapReduce – 2ème Partie

MapReduce – 2ème Partie

Ceci est la deuxième partie de l’article autour de MapReduce. La première partie peut être consultée ici.

Un mot à propos des ‘Workers’ MapReduce

Comme évoqué, un ‘Worker’ correspond à une ‘unité de travail’. Cette unité possède trois états:

  1. idle
  2. in-progress
  3. completed
  • L’état idle indique qu’un worker est disponible pour une nouvelle planification de traitement.
  • L’état completed indique la fin d’un traitement, le worker informe le Master de la taille, de la localisation de ses fichiers intermédiaires.
  • L’état in-progress indique qu’un traitement est toujours en cours d’éxécution. (Continuer la lecture…)

Read More
content top