Precisa de uma máquina que pode realizar trilhões de cálculos de vírgula flutuante em um segundo? Ou você precisa de uma história legal sobre seu supercomputador pessoal que apagou as luzes em sua vila? Construir um supercomputador é um desafio interessante se você for um gênio rico com algum tempo livre. Tecnicamente, um supercomputador multiprocessado é uma rede de computadores que trabalham juntos para resolver um problema. Este artigo irá discutir brevemente cada estágio de sua criação, com foco em hardware e software.
Etapa
Etapa 1. Primeiro, descubra quais componentes de hardware você precisará
Um nó principal, pelo menos uma dúzia de nós de computação idênticos, um switch Ethernet, uma unidade de distribuição de energia (PDU) e um rack de servidor. Descubra também sobre as necessidades de eletricidade, refrigeração e espaço. Especifique o endereço IP da rede privada, os nomes dos nós, os pacotes de software que deseja instalar e que tecnologia deseja usar para fazer com que todos trabalhem juntos para executar computação paralela (mais sobre isso abaixo).
- Embora o hardware de que você precisa seja caro, o software neste guia é totalmente gratuito e a maior parte é de código aberto.
- Se você quiser ver a velocidade do seu supercomputador (em teoria), use:
Etapa 2. Construir nós de computação
Você mesmo pode montar os nós de computação de que precisa ou usar um servidor pronto.
- Escolha uma estrutura de servidor de computador que maximize o espaço, o resfriamento e a eficiência energética.
- Ou você pode usar cerca de uma dúzia de servidores obsoletos. Quando usados juntos, eles são muito mais úteis do que quando usados individualmente, e você pode economizar um pouco. Todos os processadores, adaptadores de rede e placas-mãe devem ser iguais para garantir que o sistema funcione sem problemas. Claro, não se esqueça da memória RAM e capacidade de armazenamento para cada nó e pelo menos uma unidade óptica para o nó principal.
Etapa 3. Monte o servidor que você construiu no rack do servidor
Comece na parte inferior para evitar as objeções na parte superior. Convide um amigo para ajudá-lo, pois os conjuntos de servidores congestionados podem ficar tão pesados que fica difícil colocá-los nas gavetas.
Etapa 4. Monte o switch Ethernet na parte superior da estrutura do servidor
Aproveite esta oportunidade para configurá-lo: dê a ele um tamanho de quadro de 9000 bytes, defina o endereço IP para o endereço estático especificado na etapa 1 e desative os protocolos de roteamento desnecessários, como SMTP Snooping.
Etapa 5. Instale a unidade de distribuição de energia
Você pode precisar de 220 volts para computação de alto desempenho, dependendo de quanta corrente o nó requer na carga máxima.
Etapa 6. Depois que tudo estiver instalado, você pode iniciar o processo de configuração
O Linux é um sistema operacional obrigatório para clusters de computação de alto desempenho, porque além de ser ideal para computação científica, também é 100% gratuito. Com nós que chegam a centenas ou mesmo milhares, definitivamente será muito caro se você usar o Windows!
- Comece instalando a versão mais recente do BIOS e firmware da placa-mãe. A versão instalada deve ser a mesma para todos os nós. Comece instalando a versão mais recente do BIOS e do firmware da placa-mãe, que deve ser igual em todos os nós.
- Instale a distro Linux que você deseja em cada nó, com uma interface gráfica no nó principal. As escolhas populares são CentOS, OpenSuse, Scientific Linux, RedHat e SLES.
- O autor recomenda fortemente o uso do Rocks Cluster Distribution. O Rocks instalará instantaneamente todos os programas de que seu supercomputador precisa para funcionar e usará uma maneira bacana de "compartilhar" a si mesmo em todos os nós existentes usando a inicialização PXE da Red Hat e o procedimento "Kick Start".
Etapa 7. Instale a interface de mensagens, o gerenciamento de recursos e outras bibliotecas de software essenciais
Se você não instalou o Rocks na etapa anterior, terá que preparar o software necessário para alimentar o mecanismo de computação paralela sozinho.
- Primeiro, você precisará de um sistema de gerenciamento bash portátil como o Torque Resource Manager, que fará o trabalho de compartilhamento entre as máquinas.
- Emparelhe o torque com o Maui Cluster Scheduler para concluir a configuração.
- Em seguida, você precisa instalar a interface de mensagens, que é necessária para fazer com que nós de computação separados compartilhem os mesmos dados. OpenMP é uma escolha definitiva.
- Não se esqueça das bibliotecas e compiladores matemáticos multi-threading para construir os programas de computação paralela de que você precisa. Ou apenas instale o Rocks para tornar tudo ainda mais fácil.
Etapa 8. Combine todos os nós de computação em uma rede
O nó principal enviará tarefas computacionais para o nó de computação, que deve então enviar de volta os resultados enquanto troca mensagens entre si. Quanto antes melhor.
- Use uma rede Ethernet privada para conectar todos os nós em seu cluster de supercomputador.
- O nó primário pode ser um servidor NFS, PXE, DHCP, TFTP e NTP na rede Ethernet.
- Você deve separar esta rede da rede pública para garantir que os pacotes enviados não interfiram com outras redes em sua rede local.
Etapa 9. Teste o supercomputador que você criou
Antes de ser usado por outros, recomendamos que você teste o desempenho do seu supercomputador primeiro. HPL (High Performance Linpack) é uma referência popular para medir a velocidade de computação de supercomputadores. Você precisará compilar a partir do código-fonte, com todas as opções de otimização oferecidas pelo compilador que você está usando para a arquitetura escolhida.
- Claro, você precisa compilar a partir do código-fonte com todas as opções de otimização possíveis para sua plataforma. Por exemplo, se estiver usando uma CPU AMD, compile-o usando Open64 com nível de otimização -0fast.
- Compare os resultados dos seus testes no TOP500.org para comparar o seu supercomputador com os 500 supercomputadores mais rápidos do mundo!
Pontas
- Para altas velocidades de rede, dê uma olhada na interface de rede InfiniBand. Claro, você deve estar preparado para pagar um preço premium.
- O IPMI pode simplificar a administração de grandes clusters de supercomputador, fornecendo KVM-over-IP, controle remoto do ciclo de energia e outros recursos.
- Use o Ganglia para monitorar a carga de computação nos nós.
