Angel "Java" Lopez : High Performance Computing

Computer Go y Windows HPC Server

lopez — Wed, 18 Feb 2009 08:25:56 GMT

El último año, en el PDC 2008, el equipo de Windows HPC Server presentó un cluster de computadores jugando el juego del Go. Este video muestra la estupenda interfaz Surface que montaron:

(Please visit the site to view this media)

(Si no conocen el juego del Go, visiten:

http://www.gobase.org

Hay mucha información sobre el juego y sus reglas. Hay una sección dedicada solamente a Computer Go:

http://gobase.org/information/computers/

)

David Fotland es el autor del programa original que se muestra en el video. David es un reconocido programador de computer go. Este es el email de David, explicando este programa y su trato con la gente de Windows HPC Server:

http://computer-go.org/pipermail/computer-go/2008-November/017025.html

(Esa es LA lista de correo a seguir, si queremos conocer más sobre el ploblema de Computer Go). David programó una solución tipo MonteCarlo, usando MPI y Windows HPC Cluster.

ManyFacesOfGo, el programa de Fotland, ganó el campeonato mundial de computer go, el año pasado, corriendo sobre un Windows HPC Server cluster (ver los resultados). Nota: el programa que quedó segunda también se ejecutó sobre un cluster. Hay más información sobre el programa (comercial) ManyFacesOfGo en:

http://www.smart-games.com/

2008 fue un año lleno de sorpresas en el ámbito de computer go. Actualmente, los programas no pueden ganarle a un profesional o a un amateur fuerte humano, pero algo está cambiando. Pueden leer:

Latest Advance in Artificial Intelligence: Computer Wins a Game Against a Go Master

y los últimos avances en la página de Wikipedia sobre Computer Go:

http://en.wikipedia.org/wiki/Computer_Go

Después de décadas de pobres resultados, los programas de computación comienzan a ganar a jugadores humanos, pero hay mucho por mejorar. La complejidad del juego evita el uso puro de métodos de fuerza bruto: pienso que la solución vendrá de una mezcla de fuerza bruta, clustering, Monte Carlo, y métodos más clasicos de planeamiento.

I tengo mi propio programa, AjGo para explorar algoritmos que puedan usar este juego fascinante, el "hard problem" en Inteligencia Artificial de juegos de tablero. Un ejemplo de formulario de ese programa:

Posts explicando algo del programa:

AjGo- hacia un programa que juegue al go
Computer Go y el programa AjGo

Mantengo una colección de enlaces sobre Computer Go en delicious y en mi sitio personal:

http://delicious.com/ajlopez/computergo
Computer Go links

Nos leemos!

Angel "Java" Lopez
http://www.ajlopez.com/en
http://twitter.com/ajlopez

Seminario gratuito: Programación Paralela, Programación Distribuida, High Performance Computing

lopez — Mon, 29 Dec 2008 08:12:32 GMT

Desde fines del 2006, estoy trabajando con programación distribuida, usando CCR/DSS, WCF y otras tecnologías, como Message Passing Interface. En estas últimas semanas, comencé a trabajar con High Performance Computing Windows HPC Server 2008.

Ahora, en Enero, daremos con Sebastián Renzi (@SebaRenzi) un seminario gratuito en el Microsoft User Group:

SEMINARIO GRATUITO "Programación Paralela, Programación Distribuida, High Performance Computing".
Thursday, January 15, 2009
Lugar: Auditorio del MUG, Rivadavia 1479 1º A, Ciudad de Buenos Aires.

Ahí está el abstract:

Hay aplicaciones que necesitan procesar gran cantidad de información, o que tienen requerimientos de velocidad exigente.
Exploraremos en la charla algunas tecnologías y estrategías que tenemos disponibles como:
- Programación Paralela: usando múltiples threads, TPL (Task Parallel Library).
- Programación Distribuida: enviando el trabajo a realizar a distintas máquinas, usando WCF o DSS/CCR
- High Performance Computing: ejecutando jobs, tasks, y programas
HPC Server 2008 es el producto de Microsoft que permite armar un cluster de máquinas, pudiendo llegar a tener cientos de nodos.
Es la tendencia actual en supercomputación.
Mostraremos ejemplos de código de cada uno.
Las vacantes son limitadas.

La idea es explorar algunas ideas de AjMessages, grid computing, Task Parallel Library, MPI, MPI.NET y programación HPC. También mostrar código andando, esperamos poder llevar un cluster virtualizado andando, para mostrarlo en la charla.

Nos leemos!

Angel "Java" Lopez
http://www.ajlopez.com/
http://twitter.com/ajlopez

Fractales usando MPI.NET y HPC

lopez — Sun, 28 Dec 2008 18:50:34 GMT

Actualicé mi ejemplo de fractal y ahora soporta MPI.NET (Message Passing Interface with .NET) y tasks paramétricas en Windows HPC Server 2008. El ejemplo puede ser bajado desde mi proyecto Google code ajcodekatas:

http://code.google.com/p/ajcodekatas/source/browse/#svn/trunk/FractalExample

Hay dos soluciones. Esta es la Fractal.sln:

El proyecto Fractal.Console es una aplicación de consola que toma parámetros de la línea de comando. Los usa para generar un sector del fractal, al que serializa binariamente en un archivo:

        static void Main(string[] args)
        {
            if (args[4].Equals("*"))
                args[4] = "0";

            SectorInfo sectorinfo = new SectorInfo()
            {
                RealMinimum = Convert.ToDouble(args[0]),
                ImgMinimum = Convert.ToDouble(args[1]),
                Delta = Convert.ToDouble(args[2]),
                FromX = Convert.ToInt32(args[3]),
                FromY = Convert.ToInt32(args[4]),
                Width = Convert.ToInt32(args[5]),
                Height = Convert.ToInt32(args[6]),
                MaxIterations = Convert.ToInt32(args[7]),
                MaxValue = Convert.ToInt32(args[8])
            };

            Calculator calculator = new Calculator();

            Sector sector = calculator.CalculateSector(sectorinfo);

            SectorSerializer serializer = new SectorSerializer();

            string filename = string.Format("{0}-{1}-{2}-{3}-{4}.bin", args[9], sectorinfo.FromX, sectorinfo.FromY, sectorinfo.Width, sectorinfo.Height);

            serializer.Serialize(sector, filename);
        }

Pueden ejecutar el proyecto en modo DebugYou can run the project in Debug mode, con parámetros:

Lancen el nuevo proyecto Fractal.GUIFiles. Es una aplicación WinForm, como la que presenté en mi anterior posts, pero con un nuevo botón Read a la derecha:

Con ese botón, pueden seleccionar uno más archivos de sector, como el que generó Fractal.Console en su directorio bin\debug:

Este es el resultado:

Creando sectores con HPC

La aplicación de consola puede ser usada en un cluster. Supongamos que la aplicación está instalada en el directorio c:\FractalConsole en cada nodo del cluster. Supongamos que el nombre de la máquina head del cluster es HEAD-NODE, y que ahí hay un directorio compartido llamado \shared, que puede ser accedido desde cada nodo. Entones, podemos lanzar un job paramétrico:

job submit /parametric:0-500:100 c:\FractalConsole\Fractal.Console.exe 0.3 0.3 0.01 0 * 1000 100 2000 4 \\HEAD-NODE\shared\sector

Este comando envía un trabajo al cluster, pero con un parámetro variable. El asterisco en la lista de parámetros será reemplazado por los valores 0,100,200,300,400 y 500 (en este caso, es la coordinada Y de la esquina superior izquierda de un sector). Cada ejecución producirá un archivo con un sector serializado en el directorio compardio, que podremos leer y mostrar usando la aplicación Fractal.GUIFiles.

Usando MPI.NET

Hay una segunda solución Fractal.MPI:

Este código usa MPI (Message Passing Interface). El rank 0 recibe los datos de un sector, y lo parte en subsectores, que son enviados a todos los ranks (instancias) de la aplicación. Cada instancia genera un archivo, con la serialización de un subsector del sector original.

Para compilar y ejecutar este ejemplo hay que instalar el HPC Pack que se baja de:

HPC Pack 2008 SDK download

e instalar el MPI.NET Software

(Yo instalé MPI.NET SDK.msi pero también bajé y expandí MPI.NET-1.0.0.zip: tiene mejores ejemplos, con soluciones completas para Visual Studio)

(Nota: si quieren ejecutar el ejemplo bajo XP Pro, deben bajarse NO el HPC Pack, sino la anterior versión:
Microsoft Compute Cluster Pack SDK

El nuevo SDK tiene un problema con XP. Más información en:

http://social.microsoft.com/Forums/en-US/windowshpcdevs/thread/19deb181-15c2-40be-bb5e-2d4604b984a4
http://www.pluralsight.com/community/blogs/drjoe/archive/2008/10/10/32-bit-sdk-for-hpc-server-2008-fails-quot-the-procedure-entry-point-getprocessidofthread-could-not-be-located-quot.aspx
)

Podemos ejecutar el programa usando el utilitario mpiexec, que lanza varias instancias de un mismo programa, conectados como ranks de MPI:

mpiexec -n 10 Fractal.Mpi.Exe 0 0 0.01 0 0 500 1000 2000 4 sector

El sector será producido entonces por 10 instancias, en este caso:

que podemos leer y mostrar usando Fractal.GUIFiles.

Podemos ejecutar el anterior comando en un HPC cluster, usando:

job submit /numnodes=10 mpiexec c:\FractalMpi\Fractal.Mpi.Exe 0 0 0.01 0 0 500 1000 2000 4 \\HEAD-NODE\shared\sector

(asumiendo que hemos copiado la aplicación en cada nodo, dentro del directorio c:\FractalMpi de cada nodo)

Para un más completo ejemplo, ver:

Learning Parallel Programming — from shared-memory multi-threading to distributed-memory multi-processing

Nos leemos!

Angel “Java” Lopez
http://www.ajlopez.com
http://twitter/ajlopez

Webcast de desarrollo con Windows HPC Server 2008

lopez — Thu, 18 Dec 2008 12:28:54 GMT

Mañana viernes estaré dando con Sebastián Renzi (@SebaRenzi) un nuevo webcast de HPC, esta vez dedicado a la programación de aplicaciones para ese cluster. Pueden registrarse en:

Desarrollo de aplicaciones para Windows HPC Server 2008

(Estaré participando en lugar de Jorge "Chorch" García). Habrá ejemplos de MPI.NET, con código. Estoy adaptando mi ejemplo de Fractal:

Fractal application revisited

para que se pueda ejecutar por jobs parametrizados y por MPI.

Enlaces a anteriores webcasts en

Webcasts de Introducción a High Performance Computing (HPC)

Quedaron grabados, así que si se registran, pueden ver la grabación.

Post relacionados:

Primeros pasos con MPI.NET
Realidad aumentada con Windows HPC
Recursos de Windows High Performance Computing (HPC) y Programación

Nos leemos!

Angel "Java" Lopez
http://www.ajlopez.com/
http://twitter.com/ajlopez

Primeros pasos con MPI.NET

lopez — Wed, 10 Dec 2008 09:47:56 GMT

En estos días, estoy explorando la programación con MPI, usando la librería MPI.NET implementada sobre el MPI de Microsoft, que puede ser usada en Windows HPC Server 2008.

MPI es el acrónimo de Message Passing Interface, una API que soporta la programación de programas con paralelismo. Una apllicación MPI puede ejecutarse en varias instancias, llamadas "ranks", y cada instancia puede recibir y enviar mensajes de y a las otras instancias. La API puede ser consumida desde lenguajes como C o Fortran. MPI.NET es un "wrapper" que facilita la escritura de programas MPI usando .NET.

No necesitamos un cluster para ejecutar un programa MPI. Cada programa puede ser probado localmente, lanzando varios ranks como procesos en nuestra máquina local.

Hace unos días, escribí algún código de ejemplo, para probar MPI.NET. Pueden bajarse el código desde mi Skydrive desde MpiNetFirstExamples.zip.

Si quieren probar otro camino, hace un tiempo escribí sobre otra implementación de MPI sobre .NET:

MPI Message Passing Interface in .NET

MPI

MPI (Message Passing Interface) está soportada por Windows HPC. Hay una implementación de Microsoft:

Microsoft MPI (Windows)

que puede ser invocada desde C++.

Hay una implementación .NET sobre Microsoft MPI en:

MPI.NET: High-Performance C# Library for Message Passing

Contiene el código fuente y ejemplos.

Para escribir y ejecutar los ejemplos de este post, instalé el HPC Pack que encontré en:

HPC Pack 2008 SDK download

y luego instalé el MPI.NET Software

(Instalé el MPI.NET SDK.msi pero también expandí el MPI.NET-1.0.0.zip: tiene mejores ejemplos, con soluciones VS)

Cuando se instala el HPC Pack 2008 SDK, nos quedan nuevos programas:

Y con MPI.NET:

Si expandimos el archivo adicional MPI.NET-1.0.0.zip obtenemos un directorio con más ejemplos y documentación:

Más sobre MPI en general:

MPI 2.0 Report
MPI Tutorials
Microsoft Messaging Passing Interface - Wikipedia, the free encyclopedia
Pure Mpi.NET

Hello World

Como siempre, un "Hello, World" es la primera aplicación a intentar. La solución es:

El código de program.cs es simple:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace MpiNetHelloWorld
{
    class Program
    {
        static void Main(string[] args)
        {
            using (new MPI.Environment(ref args))
            {
                Console.WriteLine("I'm {0} of {1}",
                    MPI.Communicator.world.Rank,
                    MPI.Communicator.world.Size);
            }
        }
    }
}

Notemos el uso de ref args en la inicialización del MPI.Environment. Un programa MPI recibe argumentos especiales que deben ser procesados y removidos del resto de los argumentos.

Si lo ejutamos en solitario, obtenemos:

No muy impresionante.... ;-)

Podemos invocar un comando mpiexec:

mpiexec -n 8 MpiNetHelloWorld.exe

y la salida es:

Hay 8 ranks (instancias) ejecutando en la misma máquina. Si tienen un cluster con soporte de MPI (como el Windows HPC Server 2008) podría ejecutar el program en todos los nodos del cluster.

Ringing con los nodos

En el anterior ejemplo, no hay comunicaciones entre los nodos. Un clásico ejemplo es enviar mensajes en un anillo, desde el rank 0 al 1 al 2, y al final, volver al 0. Esta es la solución:

El código de program.cs es:

    class Program
    {
        static void Main(string[] args)
        {
            using (MPI.Environment environment = new MPI.Environment(ref args))
            {
                Intracommunicator comm = MPI.Communicator.world;

                if (comm.Size < 2)
                {
                    Console.WriteLine("At least two processes are needed");
                    return;
                }

                Console.WriteLine("I'm {0} of {1}",
                    MPI.Communicator.world.Rank,
                    MPI.Communicator.world.Size);

                if (comm.Rank == 0) // It's the root
                {
                    string sendmessage = string.Format("Hello from {0} to {1}", comm.Rank, comm.Rank + 1);

                    comm.Send(sendmessage, comm.Rank + 1, 0);

                    string recmessage;

                    comm.Receive<string>(comm.Size - 1, 0, out recmessage);

                    Console.WriteLine("Received: {0}", recmessage);
                }
                else
                {
                    string recmessage;

                    comm.Receive<string>(comm.Rank - 1, 0, out recmessage);

                    Console.WriteLine("Received: {0}", recmessage);

                    string sendmessage = string.Format("Hello from {0} to {1}", comm.Rank, (comm.Rank + 1) % comm.Size);

                    comm.Send(sendmessage, (comm.Rank + 1) % comm.Size, 0);
                }
            }
        }
    }

Dispersando mensajes

Este es otro ejemplo (la solución MpiNetScatter), donde un arreglo de enteros es enviado a todos los ranks, un entero a cada uno, desde el rank 0:

    class Program
    {
        static void Main(string[] args)
        {
            using (MPI.Environment environment = new MPI.Environment(ref args))
            {
                Intracommunicator comm = Communicator.world;

                if (comm.Rank == 0)
                {
                    int [] numbers = new int[comm.Size];

                    for (int k = 0; k < numbers.Length; k++)
                        numbers[k] = k * k;

                    int r = comm.Scatter(numbers);

                    Console.WriteLine("Received {0} at {1}", r, comm.Rank);
                }
                else
                {
                    int r = comm.Scatter<int>(0);
                    Console.WriteLine("Received {0} at {1}", r, comm.Rank);
                }
            }
        }
    }

Threads y MPI

Podemos mejorar el ejemplo de anillo, usando una nueva característica de MPI2, soportada por la implementación de Microsoft: enviar y recibir mensajes usando múltiples threads. La solución es MpiNetMultiThreadRing. El código:

    class Program
    {
        static void Main(string[] args)
        {
            using (MPI.Environment environment = new MPI.Environment(ref args)) 
            {
                Intracommunicator comm = MPI.Communicator.world;

                if (comm.Size < 2)
                {
                    Console.WriteLine("At least two processes are needed");
                    return;
                }

                MultiComm multicomm = new MultiComm(MPI.Communicator.world);

                Thread thread = new Thread(new ThreadStart(multicomm.Run));

                thread.Start();

                MultiComm multicomm2 = new MultiComm(MPI.Communicator.world);

                Thread thread2 = new Thread(new ThreadStart(multicomm2.Run));

                thread2.Start();

                thread.Join();
                thread2.Join();
            }
        }
    }

Escribí una clase ayudante, MultiComm, que tiene métodos para enviar y recibir mensajes. Usa un lock: la implementación MPI no soporta el uso de comandos MPI, desde más de un thread en simultáneo. Entonces, tuve que sincronizar los métodos de acceso a MPI desde diferentes threads. Es un incordio, pero es lo que está soportado (no sé si hay una implementación de MPI2CH que soporte un nivel de multithreads libres).

Conclusiones

MPI implica una nueva manera de pensar aplicaciones. No hay un camino fácil para convertir a MPI un algoritmos o aplicación. Podría jugar un poco más con el pasaje de mensajes de forma asincrónica. En los ejemplos de este post, cuando una instancia envia un mensaje, las otras partes deben estar escuchando para recibir el mensaje. Dejando sus idiosincracias, MPI es un interesante campo para explorar, con una amplia comunidad que hay producido interesantes aplicaciones.

Angel "Java" Lopez
http://www.ajlopez.com
http://twitter.com/ajlopez

Webcasts de Introducción a High Performance Computing (HPC)

lopez — Tue, 02 Dec 2008 13:03:00 GMT

Me confirmaron el webcast que junto con Sebastián Renzi (@SebaRenzi) vamos a dar hoy sobre el tema de HPC y Windows HPC Server 2008

HPC 2008: Introducción

Resumen del tema:

El termino HPC (High Performance Computing) se refiere a la necesidad de contar con gran potencia de computo para la resolución de problemas. Con el avance de la tecnología y el abaratamiento de los costos en hardware, hoy en día no es necesario contar con una supercomputadora e invertir grandes cantidades de dinero para obtener gran poder de computo. A partir de la aparición de "clusters", conformados por máquinas convencionales, podemos explotar al máximo la capacidad de cálculo de cada una de ellas mediante la utilización de Windows HPC Server 2008. En esta oportunidad veremos una introducción al tema de HPC, conjuntamente con las principales características de Windows HPC Server 2008.

Otros webcast que se vienen sobre el tema, preparados por el equipo en el que estoy trabajando sobre el tema:

HPC 2008: Instalación y Despliegue (Antes: Revisión Avanzada: Windows HPC Server 2008 (anteriomente Windows Compute Cluster Server 2003))

Con Windows HPC Server 2008, tenemos a nuestra disposición el poder de una supercomputadora: podemos armar un "cluster" de máquinas para ejecutar trabajos en paralelo, de forma de poder aumentar el poder de cálculo con solo agregar más máquinas en e ...

03/12/2008 10:00 a.m. Bogotá- 03/12/2008 11:00 a.m. | Duración:60 Minutos

Idioma principal: Español

Audiencia objetivo: Profesional de IT

Nombre del moderador: Ezequiel Bella, Maximiliano Déboli

HPC 2008: Ejecución y Administración (Antes: Sea cinturón negro en optimización de Aplicaciones de Alto Rendimiento para Windows HPC Server 2008)

04/12/2008 03:30 p.m. Bogotá- 04/12/2008 04:30 p.m. | Duración:60 Minutos

Idioma principal: Español

Audiencia objetivo: Profesional de IT

Nombre del moderador: Jorge Andrés Garcia, Maximiliano Déboli

Nos leemos!

Angel "Java" Lopez
http://www.ajlopez.com/
http://twitter.com/ajlopez

Realidad aumentada con Windows HPC

lopez — Tue, 02 Dec 2008 04:26:00 GMT

En estos días estoy trabajando con Windows High Performance Computing Server 2008. Investigando sobre el tema en la red (en especial en Twitter), encuentro esta demostración:

(Please visit the site to view this media)

Es un trabajo de la gente del High Performance Computing Center de Stuttgart (HLRS)

Se llama realidad aumentada a un tipo de realidad virtual que combina imágenes reales e imaginarias. Por ejemplo, usando un "headset" transparente podríamos ver cómo una mesa se vería en nuestra sala, o ver un esquema en 3D de un motor mientras lo estamos reparando. La gente de HLRS está trabajando con el Microsoft Technical Computing Initiative en cosas como Augmented Reality in the automotive industry

Pueden ver algunas fotos de las instalaciones que tienen en

Microsoft HPC Institute - HLRS - University of Stuttgart

Igualito al hardware que tengo en mi casa.... :-)

Encontré estos videos en

Augmented Reality mit Windows HPC

Hay más videos sobre HPC, y depuración MPI, en

HLRS

Algo más de información sobre Augmented Reality

What Is the Metaverse and Should HPC Care?
Augmented reality - Wikipedia, the free encyclopedia
Mixed reality - Wikipedia, the free encyclopedia

International Symposium on Mixed and Augmented Reality (ISMAR)

http://www.augmented.org/
How Augmented Reality Will Work

Llegaremos a tener nuestro Holodek?

Nos leemos!

Angel "Java" Lopez
http://www.ajlopez.com/
http://twitter.com/ajlopez

Recursos de Windows High Performance Computing (HPC) y Programación

lopez — Sat, 08 Nov 2008 13:44:43 GMT

Desde el último año, estuve investigando sobre computación distribuida y en grilla. Encontré bastantes recursos útiles, información, que fui agregando a mi delicious. Uno de los tópicos que encontré es la implementación de Microsoft de High Performance Computing (HPC). Este post es una lista de los recursos más relevantes que estoy usando.

Primero, hay que ver la página de Windows HPC Server 2008:

http://www.microsoft.com/hpc

El primer video para mirar es el de último PDC 2008, la sesión de HPC:

HPC Session at last PDC
http://channel9.msdn.com/pdc2008/ES13/

Excelente presentación, cubriendo el nuevo Windows HPC Server 2008, nodos, tareas, trabajos, herramientas de programación, formas de programar, programación MPI (Message Passing Interface) y MPI.NET, computer go en HPC (hermosa idea, jugar al go en cluster), toda la presentación merece un post aparte.

Me gustó también un video corto pero interesante, que muestra la consola de administración en:

http://channel9.msdn.com/shows/The+HPC+Show/Five-Minute-Intro-to-the-HPC-Server-2008-Management-Console/

EL blog a leer es Windows HPC survival guide

Un post como ejemplo: No scientist left behind with CRAY Supercomputer running Windows HPC Server 2008

Hay una colección de recursos en HPC Resource Kit

Todos los videos de HPC:

HPC | Tags | Channel 9

(tópicos interesantes: WCF y programación HPC, HPC Basic Profile: servicios web para invocar desde Java y otros lenguajes)

Hay un sitio de comunidad dedicado a Windows HPC:

http://www.windowshpc.net/

con archivos, recursos, código fuente y ejemplos.

Software para usar

Para iniciarse en la programación para HPC, hay que instalar Microsoft HPC Pack (Windows). Lo bajé desde:

HPC Pack 2008 SDK download

(no hace falta un HPC Server para los primeros pasos)

Luego, instalé MPI.NET Software

(Instalé el MPI.NET SDK.msi pero también expandí el MPI.NET-1.0.0.zip: éste tiene mejores ejemplos, ya armados como soluciones de Visual Studio)

Un excelente tutorial, sobre programación secuencial, en paralelo, y luego usando HPC 2008, en:

Learning Parallel Programming --- from shared-memory multi-threading to distributed-memory multi-processing

Enlaces adicionales

Si quieren explorar las posibilidades de programación de HPC, hay algunos temas a investigar:

HPC

http://www.hpccommunity.org/ Comunidad HPC
http://www.hpcwire.com/ High Productivity Computing
http://www.ddj.com/hpc-high-performance-computing/
YouTube - An Overview of High Performance Computing and Challenges for the Future
http://en.wikipedia.org/wiki/High-performance_computing

MPI

MPI (Message Passing Interface) está soportado en Windows HPC. Hay una implementación de Microsoft:

Microsoft MPI (Windows)

que puede ser invocada desde C++.

Hay una implementacíón .NET sobre esa de Microsoft MPI:

MPI.NET: High-Performance C# Library for Message Passing

Tiene código fuente de ejemplo.

(una anterior implementación en Codeplex: MPI .Net - Home)

Ya había escrito sobre otra implementación en .NET:

MPI Message Passing Interface in .NET

Más sobre MPI

MPI 2.0 Report
MPI Tutorials
Microsoft Messaging Passing Interface - Wikipedia, the free encyclopedia
Pure Mpi.NET

Programación en paralelo

Introduction to Parallel Computing introducción muy completa (gracias a jgarcia por el enlace)
Microsoft Innovation Day - November 5, 2006 están presentando algo relacionado con DryadLINQ
Multithreading and Concurrency in .NET una lista completa de tecnologías disponibles en .NET
http://www.microsoft.com/ccrdss Ahora, CCR/DSS como paquete separado (antes venían sólo en Microsoft Robotics)
Adobe Press - 9780321603944 - Software Pipelines: The Key to Capitalizing on the Multi-core Revolution
Burton Smith: On General Purpose Super Computing and the History and Future of Parallelism | Going Deep | Channel 9
Welcome to Hadoop!
Dryad - Home Un interesante proyecto de Microsoft research
YouTube - Dryad: A general-purpose distributed execution platform Presentación en Google Talks
Concurrency: What Every Dev Must Know About Multithreaded Apps
Overview of concurrency in .NET Framework 3.5 | Igor Ostrovsky Blogging
Parallel Programming with .NET
Parallel Computing Developer Center de Microsoft
Parallel Virtual Machine - Wikipedia, the free encyclopedia
http://msdn.microsoft.com/msdnmag/issues/07/10/PLINQ/default.aspx Parallel LINQ

Map Reduce

Writing An Hadoop MapReduce Program In Python
Dryad: Distributed Data-Parallel Programs from Sequential Building Blocks
Google Research Publication: MapReduce

Delicious

En mis enlaces en delicious sobre HPC, MPI, Parallel programming, Grid Computing, algoritmos Map Reduce, CCR/DSS:

http://delicious.com/ajlopez/hpc
http://delicious.com/ajlopez/mpi
http://delicious.com/ajlopez/parallel
http://delicious.com/ajlopez/gridcomputing
http://delicious.com/ajlopez/mapreduce
http://delicious.com/ajlopez/ccr
http://delicious.com/ajlopez/dss

En el PDC 2008, Windows HPC fue mostrado con un ejemplo de Computer Go, el programa campeón del mundo ManyFacesOfGo (http://www.smart-games.com) . Computer Go es un tópico fascinante:

http://delicious.com/ajlopez/computergo

Angel "Java" Lopez
http://www.ajlopez.com
http://twitter.com/ajlopez