MD2 Consultoria e Negócios



IBM® PURE DATA FOR ANALYTICS (NETEZZA™)

O Appliance Pure Data For Analytics - PDA (Netezza™), transforma o panorama de data warehouse e análises de negócio com uma plataforma projetada para entregar o maior custo benefício líder de mercado com a simplicidade do appliance. É uma nova fronteira em análises avançadas, com a capacidade de vencer desafios de processamento monumentais através de altíssima velocidade, sem barreiras ou comprometimentos. Para os usuários e suas organizações, isso significa melhor inteligência para todos que precisam dela, mesmo para as demandas de informações em escala. O design revolucionário do appliance Pure Data For Analytics® da IBM® oferece custo benefício excepcional. Como um appliance construído especificamente para análises de negócio de alta velocidade, sua força não é proveniente dos componentes mais potentes e dispendiosos, mas sim da coleta dos componentes certos que trabalham juntos para maximizar o desempenho. Os fluxos de MPP (Massively Parallel Processing) combinam CPUs de múltiplos núcleos com os mecanismos exclusivos de FPGA (Field Programmable Gate Arrays) FAST (Accelerated Streaming Technology) da IBM® para entregar um desempenho que em muitos casos superam as expectativas. E como um appliance fácil de usar, o sistema entrega seus resultados extraordinários prontos para o uso, sem a necessidade de indexação ou ajuste. A simplicidade do appliance se estende ao desenvolvimento do aplicativo, permitindo que as organizações inovem rapidamente e apresentem analítica de alto desempenho para a mais ampla gama de usuários e processos.

Princípios da arquitetura
Os appliances PDA da IBM® integram banco de dados, servidores e storage em um sistema compacto otimizado para análises de negócio e projetado para o crescimento flexível.



A arquitetura do sistema é fundamentada nos seguintes princípios que são característicos da liderança da PDA no mercado:

- Processamento próximo à fonte de dados
- Arquitetura paralela massivamente balanceada
- Plataforma para análises avançadas
- Simplicidade do appliance
- Inovação acelerada e melhorias de desempenho
- Configurações flexíveis e escalabilidade máxima

Processamento próximo à fonte de dados

A arquitetura PDA da IBM® é baseada em um princípio fundamental da ciência da computação: ao operar em grandes conjuntos de dados, não mova os dados a menos que seja absolutamente necessário. A solução PDA explora completamente este princípio utilizando os componentes com base em mercadorias chamados de FPGAs (Field Programmable Gate Arrays) para filtrar dados irrelevantes logo no início do fluxo de dados e tão rápido quanto os fluxos de dados externos do disco. Este processo de exclusão de dados próximo à fonte de dados remove gargalos de I/O e libera componentes de recebimento de dados como CPU, memória e rede de processamento de dados supérfluo, possibilitando então um efeito multiplicador significante no desempenho do sistema.

Arquitetura paralela massivamente balanceada

A arquitetura PDA combina os melhores elementos de SMP (Symmetric Multiprocessing) e de MPP (Massively Parallel Processing) para criar um appliance que analise rapidamente os petabytes de dados. Cada componente da arquitetura, incluindo processador, FPGA, memória e rede, é cuidadosamente selecionado e otimizado para atender os dados da maneira mais rápida permitida pelo disco, minimizando o custo e o consumo de energia. O software da PDA organiza esses componentes para operarem simultaneamente no fluxo de dados em formato de canais, maximizando assim, o aproveitamento e extraindo o melhor rendimento para cada nó MPP. Além do desempenho bruto, essa arquitetura balanceada fornece escalabilidade linear para mais de milhares de fluxos de processamento que executam em paralelo, enquanto oferece um custo total de propriedade econômico.

Plataforma para Análise Avançada

Os princípios do MPP e o processamento de dados próximo à fonte são igualmente aplicáveis à análise avançada de grandes conjuntos de dados. Os appliances PDA simplesmente processam algoritmos complexos de escala paralela massivamente expressos em linguagens como SQL, sem a complexidade típica da programação paralela ou em grade. Executar análises de negócio de qualquer complexidade em fluxo contra grandes volumes de dados elimina os atrasos e custos envolvidos na movimentação dos dados para um hardware separado. Isso acelera o desempenho devido à magnitude, tornando a Netezza™ a plataforma ideal para convergir data warehousing com análises avançadas.

Simplicidade do appliance

Automatizando e simplificando operações diárias, a arquitetura PDA da IBM® protege os usuários da complexidade subjacente da plataforma. A simplicidade rege onde quer que haja uma escolha de design com qualquer outro aspecto do appliance. Diferentemente de outras soluções, ela apenas executa, administra a demanda das consultas e combina as cargas de trabalho de intensa velocidade, sem que seja necessário o ajuste por outros sistemas. Mesmo tarefas normalmente demoradas, como instalação e upgrades, garantem que a alta disponibilidade e a continuidade dos negócios sejam amplamente simplificadas, economizando tempo e recursos valiosos.

Sistema de blocos de construção

A maior parte das vantagens de desempenho da solução PDA é proveniente de sua exclusiva arquitetura AMPP (exibida na figura abaixo), que combina um front-end SMP com um back-end MPP sem compartilhamento para processamento de consulta. Cada componente da arquitetura é cuidadosamente escolhido e integrado para gerar um sistema geral balanceado. Cada elemento de processamento opera em múltiplos fluxos de dados, filtrando dados irrelevantes o mais breve possível. Mais de milhares desses fluxos MPP customizados trabalham juntos para dividir e vencer a carga de trabalho.



Hosts PDA

Os hosts SMP são servidores de alto desempenho Linux® definidos em configuração ativa-passiva para alta disponibilidade. O host ativo apresenta uma interface padronizada para ferramentas e aplicativos externos. Compila consultas SQL em segmentos de código executáveis chamados fragmentos, cria planos de consulta otimizados e distribui os fragmentos em nós MPP para execução.

S-Blades (Snippet Blades)

S-Blades são nós de processamento inteligente que compõem o mecanismo MPP turbo-compressor do appliance. Cada S-Blade é um servidor independente que contém CPUs de múltiplos núcleos poderosos, múltiplos mecanismos FPGAs e gigabytes de RAM, todos balanceados e trabalhando simultaneamente para fornecer o melhor desempenho. Os núcleos da CPU foram projetados com um amplo espaço livre para executar algoritmos complexos em grandes volumes de dados para aplicativos de análise avançada.

Gabinetes de disco

A alta densidade do gabinete de disco e o alto desempenho dos discos são protegidos por RAID. Cada disco contém uma fatia de cada um dos dados da tabela de banco de dados. Uma rede de alta velocidade conecta gabinetes de discos aos S-Blades, permitindo que todos os discos em uma rede Netezza™ realizem um fluxo de dados simultâneo nos S-Blades com a máxima taxa possível.

Malha de rede

Uma malha de rede de alta velocidade se conecta a todos os componentes do sistema. O appliance PDA executa um protocolo customizado com base em IP que utiliza toda a largura de banda de seção cruzada da malha e elimina o congestionamento mesmo sob tráfego de redes em conexões constantes e intermitentes. A rede é otimizada para escalar mais de milhares de nós enquanto permite que cada nó inicie grandes transferências de dados a cada outro nó simultaneamente.

FPGA



O FPGA é um ativador essencial de vantagens de custo-benefício da plataforma PDA. Cada FPGA contém mecanismos integrados que realizam funções de filtragem e transformação no fluxo de dados. Esses mecanismos FAST são dinamicamente reconfiguráveis, permitindo que sejam modificados ou estendidos através do software. Eles são customizados para cada fragmento através dos parâmetros fornecidos durante a execução da consulta e atuam no fluxo de dados fornecido pelo módulo DMA (Direct Memory Access) em altíssima velocidade.  O mecanismo Compress, uma inovação da PDA, aumenta de 4 a 8 vezes o desempenho do sistema. O mecanismo descompacta os dados em velocidade de transmissão, transformando instantaneamente cada bloco no disco em 4 a 8 blocos em memória. O resultado é uma aceleração significativa do mais lento componente em qualquer data warehouse, ou disco.

As melhores soluções não são necessariamente as maiores ou mais dispendiosas, e sim aquelas projetadas da maneira mais inteligente. A equipe IBM® reconheceu e explorou a vantagem inerente que o processamento de fluxos oferece sobre as arquiteturas de computação tradicionais utilizadas por outros sistemas de análise e data warehousing. O resultado é um appliance compacto com desempenho reduzido em relação a muitos dos grandes sistemas, em uma velocidade incrível de execução de algoritmos complexos contra grandes volumes de dados e cargas de trabalho combinadas criadas por milhares de usuários simultâneos. O desempenho do processamento é complementado por outros recursos que tornam a solução PDA da IBM® uma plataforma exclusiva para fazer as empresas prosperarem, incluindo:

- Simplicidade de uso: A plataforma PDA é auto gerenciada, como um appliance deve ser, e está sempre executando em seu pico de rendimento. O software do sistema garante que não haja intervenção humana.
- Melhores decisões para a corporação: Funções integradas apresentam uma nova geração de funções de análise em banco de dados com o mínimo esforço do desenvolvimento.

BELO HORIZONTE | SÃO PAULO | RIO DE JANEIRO | BRASÍLIA