New Trends in High Performance Computing (HPC)

(Alguns documentos e instituições estão preferindo o termo "advanced computing", como uma forma mais ampla quando comparado com "High Performance Computing". O termo HPC pode passar a ideia de estar limitando apenas a Clusters, PetaFlops e MPI. Geralmente esse termo agrega um escopo mais amplo, incluindo Grids, Clouds, Virtualização, Workflow, DataManagement, DataAnalitics, entre outros. Acredito que isso está alinhado com a perspectiva do CTBS. Acho que temos usado o "Computação Científica" (em NCC) com esse intuito)

Tentências e desafios para computação de alto desempenho (advanced computing)

Tendências

Virtualização

• Virtualização de storage, redes e processamento.
• Adaptação à ambientes mais dinâmicos, demandas oscilantes, redução de custo de aquisição e operação.
• Permitir o uso sistemas legados sem comprometer o desenvolvimento de novas tecnologias

Escalabilidade

Com as limitações ao simples aumento de frequência e com aumento constante na quantidade de dados, é preciso fazer com que os sistemas escalem usando múltiplos cores, múltiplos servidores e múltiplos datacenters. E o nível de paralelismo esperado não é mais na ordem de dezenas (ou centenas) de cores, mas em dezenas de milhares. (Indispensável considerações de tolerância a falhas, especialmente em software).

Heterogenidade de recursos

Da mesma forma, pesquisa e aplicação de instruções, aceleradores e arquiteturas específicas. ARM, GPGPU (Nvidia Tesla), ManyCore (Intel XeonPhi), FPGA. O futuro é um ecossistema diverso, heterogêneo.

Federação e disponibilidade global

A utilização de recursos geograficamente distribuídos, a integração de sistemas e sua disponibilidade em qualquer lugar são indispensáveis para o ferramental computacional da próxima década. Redes capazes de permitir essa interconexão de forma confiável, previsível e dinâmica se tornam absolutamente indispensáveis.

Componentes

Processamento

Armazenamento

Redes

Pontos chaves que precisam ser desenvolvidos

Workflow

• Permitir a execução de ciclos de trabalhos completos de forma automatizada.
• Permitir que as simulações sejam reproduzidas ou refeitas de forma sistemática.
• Rastreamento de processos.
• Integração de recursos distintos (federação).
• Laboratório remoto, processamento gráfico e interativo remoto.
• Coleta e processamento de dados em fluxo contínuo.

Otimização aos processamentos data intensive

De uma forma geral, os sistemas de HPC foram otimizados para aplicações que exigem um processamento intensivo, com uma moderada utilização de dados ou comunicação. Essa nova vertente de simulações "data intensive" exige que novos mecanismos seja desenvolvidos para lidar com essa grande quantidade de dados. Ao se analisar hoje o workflow incluindo das transferências de dados, é possível entender que muitas vezes os gargalos não estão no processamento, mas nas transferências dos dados. Isso se tornará cada vez mais crítico com o aumento dos dados e a integração de diversos sistemas. Escalonar o processo próximo ao dado (MapReduce) é outro exemplo de técnica desenvolvida recentemente para lidar com grandes volumes de dados. Além disso, novas modelagens matemáticas estão sendo incorporadas, com por exemplo algorítimos baseados em aprendizado de máquina.

Demanda por capacidade

(recursos computacionais)

Demanda por competência

(recursos humanos)

Objetivos Computação Distribuída de Alto Desempenho no CTBS

1. Fornecer capacidade computacional para os demais projetos do centro
2. Fornecer capacidade computacional adicional (sobre demanda) aos projetos da BR
3. Pesquisar aplicação de novas arquiteturas computacionais (aceleradores...) nos problemas relevantes (ao CTBS e a BR)
4. Pesquisar aplicação de novas arquiteturas de rede (SDN...) nos problemas relevantes (ao CTBS e a BR)
5. Implementar (ou integrar) estrutura de federação computacional (integrando cluster, grids, cloud e redes) de referência entre instituições parceiras (Universidades, Centros de pesquisa e BR)
6. Capacitar desenvolvedores de aplicações científicas e administradores de recursos computacionais de alto desempenho nas tecnologias e praticas de ponta

Referências

• Future Directions for NSF Advanced Computing Infrastructure to Support U.S. Science and Engineering in 2017-2020: Interim Report
• The Magellan Report on Cloud Computing for Science The Magellan Report on Cloud Computing for Science.
• Take HPC to the cloud, Wolfgang Gentzsch (UberCloud)
• Robert Harrison, Director of Center of Scientific Computing, Brookhaven National Laboratory (talk no ICTP)

-- winckler - 2015-03-02

Comments

-- Sergio Novaes - 2015-03-04 -- winckler - 2015-03-04