Tentências e desafios para computação de alto desempenho (advanced computing)

Tendências

Virtualização

Virtualização dos de storage, redes e processamento. Adaptação à ambientes mais dinâmicos, demandas ocilantes, redução de custo de aquisição e operação. Permitir o uso sistemas legados e o desenvolvimento de novas tecnologias

Escalabilidade

Com as limitações ao simples aumento de frequência e com aumento constante na quantidade de dados, é preciso fazer com que os sistemas escalem usando múltiplos cores, múltiplos servidores e múltiplos datacenters. E o nível de paralelismo esperado não é mais na ordem de dezenas (ou centenas) de cores, mas em dezenas de milhares. (Indispensável considerações de tolerância a falhas, especialmente em software).

Heterogenidade de recursos

Da mesma forma, pesquisa e aplicação de instruções, aceleradores e arquiteturas específicas. ARM, GPGPU (Nvidia Tesla), ManyCore (Intel XeonPhi), FPGA. O futuro é um ecossitema diverso, heterogênio.

Federação e disponibilidade global

A utilização de recursos geograficamente distribuídos, a integração de sistemas e sua disponibilidade em qualquer lugar são indispensáveis para o ferramental computacional da próxima década. Redes capazes de permitir essa interconexão de forma confiável, previsível e dinâmica se tornal absolutamente indispensáveis.

Componentes

Processamento

Armazenamento

Redes

Pontos chaves que precisam ser desenvolvidos

Workflow

Permitir a execução de ciclos de trabalhos completos de forma automatizada. Permitir que as simulações sejam reproduzidas ou refeitas de forma sistemática. Rastreamento de processos. Integração de recursos distintos (federação). Laboratório remoto, processamento gráfico e interativo remoto. Coleta e processamento de dados em fluxo contínuo.

Otimização aos processamentos data intensive

De uma forma geral, os sistemas de HPC foram otimizados para aplicações que exigem um processamento intensivo, com uma moderada utilização de dados ou comunicação. Essa nova vertente de simulações "data intensive" exige que novos mecanismos seja desenvolvidos para lidar com essa grande quantidade de dados. Ao se analizar hoje o workflow incluindo das transferências de dados, é possível entender que muitas vezes os gargalos não estão no processamento, mas nas transefrências dos dados. Isso se tornará cada vez mais crítico com o aumento dos dados e a integração de diversos sistemas.

Demanda por capacidade

(recursos computacionais)

Demanda por competênca

(recursos humanos)

Objetivos Computação Distribuída de Alto Desempenho no CTBS

1. Fornecer capacidade computacional para os demais projetos do centro
2. Fornecer capacidade computacional adicional (sobre demanda) aos projetos da BR
3. Pesquisar aplicação de novas arquiteturas computacionais (aceleradores...) nos problemas relevantes (ao CTBS e a BR)
4. Pesquisar aplicação de novas arquiteturas de rede (SDN...) nos problemas relevantes (ao CTBS e a BR)
5. Implementar (ou integrar) estrutura de federação computacional (integrando cluster, grids, cloud e redes) de referência entre instrituições parceiras (Universidades, Centros de pesquisa e BR)
6. Capacitar desenvolvedores de aplicações científicas e administradores de recursos computacionais de alto desempenho nas tecnologias e praticas de ponta

Referências

• Future Directions for NSF Advanced Computing Infrastructure to Support U.S. Science and Engineering in 2017-2020: Interim Report
• The Magellan Report on Cloud Computing for Science The Magellan Report on Cloud Computing for Science.
• Take HPC to the cloud, Wolfgang Gentzsch (UberCloud)
• Robert Harrison, Director of Center of Scientific Computing, Brookhaven National Laboratory (talk no ICTP)

-- winckler - 2015-03-02

Comments