A Amazon foi pioneira em oferecimento de infraestrutura como serviço, ajudando a construir o que ficou conhecido como Computação em Nuvem (Cloud Computing) e levando a virtualização de servidores a um nível nunca antes visto. Os avanços das tecnologias de virtualização permitiram locação de serviços computacionais de forma escalável, flexível e ágil, em que a cobrança de acesso a esses serviços pode ser feita pelo tempo e quantidade de uso de cada recurso alocado.

Atualmente, a Amazon oferece 24 serviços distribuídos nas categorias computação/processamento, distribuição de conteúdo, banco de dados, instalação e gerenciamento de serviços, e-commerce, mensagens, monitoramento, rede, pagamento e faturamento, armazenamento, suporte, análise de tráfego web e força de trabalho.

Segue a lista de serviços oferecidos pela Amazon Web Services:

COMPUTAÇÃO/PROCESSAMENTO

Amazon Elastic Compute Cloud (EC2)

O Amazon EC2 é o serviço que popularizou a computação em nuvem e é utilizado para criação de servidores virtuais na infraestrutura de nuvem da Amazon. Você pode escolher o Sistema Operacional, os softwares e os recursos que serão utilizados pelos servidores. Em poucos minutos uma instância de servidor virtual pode ser criada, sendo possível alterar os recursos alocados para ela em poucos instantes de forma manual ou automática.

Amazon Elastic MapReduce

O Amazon Elastic MapReduce é um serviço que permite processamento de uma grande quantidade de dados utilizando o framework Apache Hadoop hospedado em clusters de servidores Amazon S3 e Amazon EC2. O serviço é usado para tarefas como indexação, mineração de dados, análise de logs, data warehousing, aprendizagem de máquina, análise financeira, simulação científica e pesquisas em bioinformática.

Auto Scaling

O Auto Scaling permite que os servidores Amazon EC2 escalem automaticamente de acordo com definições estabelecidas para sua aplicação. Ele é útil, por exemplo, para alocar mais recursos em períodos de pico de forma automática.

DISTRIBUIÇÃO DE CONTEÚDO

Amazon CloudFront

O Amazon CloudFront é um serviço que permite distribuição de conteúdo com baixa latência e alta taxa de transferência, usando caches em provedores de Internet de várias regiões do mundo (o Brasil ainda não está nessa lista, então não há vantagens em usar em aplicações brasileiras). Ele é utilizado para distribuir conteúdos estáticos ou streamings de mídias, funcionando de maneira parecida com o Akamai Media Delivery.

BANCO DE DADOS

Amazon SimpleDB

O Amazon SimpleDB é um sistema de armazenamento de dados não relacional de alta disponibilidade, escalável e flexível oferecido como serviço pela Amazon, deixando o desenvolvedor sem preocupações com administração do banco de dados, mas apenas com a modelagem dos dados que serão indexados. O serviço garante redundância, segurança, disponibilidade, confiabilidade, escalabilidade ou velocidade de acesso aos dados armazenados.

Ele é usado por aplicações que precisam apenas indexar e consultar dados, sem envolver transações complexas ou joins.

Amazon Relational Database Service (RDS)

O Amazon RDS é um serviço que provê um banco de dados relacional com as mesmas funcionalidades do MySQL, mas totalmente administrado pela Amazon. É possível configurar backups automáticos, adicionar ou remover recursos de maneira rápida e fácil, e configurar réplicas que aumentam disponibilidade, confiabilidade ou velocidade de acesso aos dados.

INSTALAÇÃO E GERENCIAMENTO DE SERVIÇOS

Amazon Elastic Beanstalk

O Amazon Elastic Beanstalk é um serviço oferecido gratuitamente pela Amazon que permite realizar instalação (deploy) e gerenciamento de aplicações em nuvem de maneira muito simples, automaticamente criando instâncias (estas são pagas) de servidores EC2, S3, EBS etc. Ele é muito parecido com uma Plataforma como Serviço em Nuvem (heroku, google app engine), porém oferece maior controle sobre os recursos e softwares disponibilizados pela infraestrutura.

E-COMMERCE

Amazon Fulfillment Web Service (FWS)

Este é um serviço um pouco mais complexo de entender. A Amazon permite que um vendedor terceirize para ela a entrega de produtos. O vendedor pode enviar seus produtos para a Amazon, ela estoca seus produtos, e quando um consumidor realiza a compra de um produto, a Amazon embrulha o pedido e realiza a entrega. O Amazon FWS é um serviço que permite que aplicações de vendedores se integrem automaticamente com o serviço de entrega da Amazon, enviando informações sobre pedidos através de Web Services.

MENSAGENS

Amazon Simple Queue Service (Amazon SQS)

O Amazon SQS é um serviço que permite criar filas de mensagens na nuvem. Você pode construir fluxos de trabalho (como pipelines) que se comunicam através de filas e cada estágio do seu fluxo pode esperar por uma mensagem de um outro estágio para executar. Uma mensagem pode ser armazenada por até 14 dias e só pode ser lida simultaneamente por uma instância, sendo bloqueada enquanto é processada. Caso o processamento da mensagem falhe, ela volta a ficar disponível na fila; caso contrário, ela é excluída da fila.

Amazon Simple Notification Service (Amazon SNS)

O Amazon SNS é um serviço que permite enviar notificações (como um ping) através da nuvem. Ele facilita o processo de envio de mensagens via HTTP, SMTP ou outro protocolo por aplicações, integrando módulos ou mantendo assinantes de conteúdo atualizados.

Amazon Simple Email Service (Amazon SES)

O Amazon SES é um serviço de envio de e-mails altamente escalável e de baixo custo. É uma alternativa aos serviços de e-mail marketing ou à construção de um sistema de envio de e-mails in-house. A Amazon possui acordos com provedores de Internet para garantir que as mensagens sejam corretamente enviadas e não sejam bloqueadas. O serviço pode ser integrado a uma aplicação através de acesso ao SMTP do Amazon SES ou através de web services que recebem cabeçalhos e conteúdos de e-mails a serem enviados.

MONITORAMENTO

Amazon CloudWatch

O Amazon CloudWatch é um serviço que permite monitorar outros serviços oferecidos pela Amazon. Ele permite visualizar utilização de recursos, desempenho operacional e demandas de acesso aos serviços monitorados. As versões do Amazon CloudWatch mais simples de monitoramento são gratuitas e as mais detalhadas são pagas.

REDE

Amazon Route 53

O Amazon Route 53 é um serviço de consulta de DNS altamente disponível e escalável, resolvendo rapidamente endereços de domínios públicos e retornando a resposta com baixa latência. Ele também permite criar e gerenciar seus registros DNS.

Amazon Virtual Private Cloud (VPC)

O Amazon VPC é um serviço que permite a integração entre a infraestrutura de uma organizacão com os serviços da Amazon de forma segura e reservada. Ele cria uma rede privada na infraestrutura da Amazon que só é acessada pela organização, através de uma VPN.

Elastic Load Balancing

O Elastic Load Balancing é um serviço oferecido pela Amazon que automaticamente distribui requisições de acesso à aplicação para instâncias de Amazon EC2 ativas, balanceando a carga por diversos servidores. Com essa solução, é possível aumentar a tolerância a falhas, a velocidade de acesso e a disponibilidade de uma aplicação.

PAGAMENTO E FATURAMENTO

Amazon Flexible Payments Service (Amazon FPS)

O Amazon FPS é um serviço similar ao Paypal, que permite que desenvolvedores criem aplicações capazes de gerar faturas e receber dinheiro de consumidores.

Amazon DevPay

O Amazon DevPay permite que empresas vendam acesso a aplicações construídas com os serviços oferecidos pela Amazon Web Services. O dono da aplicação rodando na infraestrutura da Amazon pode definir os parâmetros relacionados aos serviços da Amazon Web Services que estarão relacionados com o preço de venda do serviço de sua aplicação, e com isso gerar faturas sob demanda para cobrança de seus clientes.

ARMAZENAMENTO

Amazon Simple Storage Service (Amazon S3)

O Amazon S3 é um serviço de armazenamento de arquivos na Internet. Ele oferece web services que podem ser usados para armazenar ou recuperar qualquer quantidade de dados, a qualquer hora, de qualquer lugar da Internet. Os dados podem ser definidos como públicos ou privados, sendo possível especificar direitos de acesso para usuários específicos.

Amazon Elastic Block Store (EBS)

O Amazon EBS é um serviço que disponibiliza blocos de armazenamento persistentes para serem usados em conjunto com instâncias do Amazon EC2. Um bloco de dados do Amazon EBS persiste independentemente do tempo de vida de uma instância do Amazon EC2. Este serviço é especialmente útil quando a aplicação rodando no Amazon EC2 precisa de um banco de dados ou de um sistema de arquivos persistente com alta disponibilidade ou confiabilidade.

AWS Import/Export

O AWS Import/Export é um serviço usado para transferência de uma quantidade de dados muito grande para servidores da Amazon Web Services. Você deve preparar um dispositivo de armazenamento (como um HD ou um pendrive), enviar para a Amazon e ela se encarrega de copiar os dados do dispositivo para os servidores ou dos servidores para o dispositivo. Este serviço é considerado relevante para os casos em que a transferência de dados pela rede de Internet é muito intensa e levaria muito tempo para concluir.

SUPORTE

AWS Premium Support

O AWS Premium Support é um serviço de suporte pago de alta qualidade oferecido pela Amazon com o objetivo de ajudar clientes a utilizarem os serviços oferecidos pela Amazon Web Services.

ANÁLISE DE TRÁFEGO WEB

Alexa Web Information Service

O Alexa Web Information Service é um web service que disponibiliza o repositório de informações sobre tráfego e estrutura da Internet desenvolvido pela Alexa.

Alexa Top Sites

O Alexa Top Sites é um web service que fornece acesso a listas de web sites ordenados pelo Alexa Traffic Rank. É possível obter listas de web sites top 1.000, 5.000 ou 100.000, com informações como número médio de visualizações por usuário, número de usuários Alexa visitando o site ou número de visualizações para cada 1 milhão de usuários.

FORÇA DE TRABALHO

Amazon Mechanical Turk

O Amazon Mechanical Turk é um mercado de compra e venda de trabalho que exige inteligência humana. O web service do Mechanical Turk permite que desenvolvedores enviem tarefas a serem realizadas por humanos (Human Intelligence Taks ou “HITs”) e, desta forma, construir aplicações com inteligência humana.

Considerações

Alguns serviços da Amazon são caros para aplicações simples ou empresas que estão iniciando. Por exemplo, um banco de dados MySQL no RDS custa cerca de U$ 70,00/mês em sua versão mais simples. Porém, para aplicações complexas, que podem demandar muitos recursos computacionais, ou para empresas que esperam alta disponibilidade, confiabilidade e segurança de dados, as soluções da Amazon se encaixam perfeitamente e de forma barata.

Eu vejo muitos desenvolvedores usando o Amazon EC2 como se fosse um servidor dedicado. Ele está longe disso e não foi construído com tal finalidade. Ele é um servidor de aplicação, e por isso oferece poucas garantias para uso de bancos de dados ou armazenamento de arquivos. Considere utilizá-lo em conjunto com outras soluções, como o Amazon EBS ou o Amazon S3.

As documentações completas de todos os serviços oferecidos pela Amazon podem ser encontradas no link:

http://aws.amazon.com/documentation/

Neste primeiro post falarei como obter um túnel que lhe dará apenas um IPv6 Real (global unicast) e fixo. Na Parte 2 falarei como obter toda uma sub-rede para que você possa dar à todos os dispositvos da sua casa um IPv6 real sem NAT.

Não falarei muito sobre formas de endereçamento do IPv6 pois devo me focar em como conseguir conectividade em casa através de túneis, apenas lembrando que são 128 bits, dos quais 48 são de prefixo, 16 de sub-rede e 64 de identificador de host em uma sub-rede. Para mais detalhes sugiro ler o curto artigo na Wikipédia sobre endereçamento IPv6.

Tunnel Brokers

Para conseguir conectividade IPv6 quando o nosso provedor não nos fornece IPv6 nativamente devemos usar um dos métodos de transição que já foram criados e normalizados com este intuito. Um deles é o 6in4, que utiliza-se de um stream de pacotes IPv4 entre dois nós da rede sobre o qual são encapsulados os pacotes IPv6. Este protocolo de encapsulamento utilzado pelo 6in4 é o protocolo-41 (41 é o número que irá aparecer no campo Protocol do cabeçalho do pacote IPv4) chamado de IPv6 Encapsulation.

Para conseguirmos nos conectar à Internet através de IPv6 precisamos de um nó que receba os pacotes IPv4 , desencapsule-os e os encaminhe à Internet IPv6 fazendo também o sentido contrário.

Os Tunnel Brokers são serviços que permitem a requisição de uma conectividade IPv6 e existem alguns gratuitos como o projeto SixXS com um ponto de acesso (nó que irá nos conectar à internet via IPv6) no Brasil. Por este motivo falarei mais de como obter um túnel no site www.sixxs.net.

Conectividade IPv6 com encapsulamento sobre IPv4

SixXS

O Tunnel Broker SixXS é gratuito. Porém para obtermos um túnel precisaremos seguir a receita de bolo:

Crie um Handle/Login no site www.sixxs.net. Tal Handle serve para identificar você legalmente então você deve preencher corretamente os dados pedidos. Isto é necessário para evitar que usuários utilizem a conectividade como uma forma de se tornarem anônimos e realizar ações ilegais na Internet.

Se você se deparar com avisos de perigo ao se logar no site com HTTPS você pode ignorá-los e continuar o acesso ao site, porém para não obter mais estes erros você deve instalar o Certificado de Raiz da CACert.org Classe 1 no formato PEM do site da CACert.org

Responda ao e-mail de verificação e espere de 1 dia até 1 semana (porém no meu caso foram apenas 12 horas) pelo e-mail de confirmação com o seu Handle/Login e Senha. A verificação é feita manualmente pelo pessoal do SixXS e por isso a demora.

Escolhendo o tipo de Túnel

Antes de prosseguirmos com a requisição de um túnel com IPv6 Real e Fixo, deve-se decidir qual tipo de túnel irá ser requisitado. Escolha:

• 6in4-static – Quando você possui IPv4 real e fixo;
• 6in4-heartbeat – Quando você possui IPv4 real variável (caso mais comum com PCs ligados diretamente à internet) OU quando você está atrás de um NAT  (isto é, o roteador possui o IPv4 real variável mas você possui um IP de rede privada como 192.168.x.x por exemplo) e pode configurar o seu IP local no DMZ do roteador de forma que todos os pacotes que vêm da Internet e vão para o IPv4 real do roteador doméstico sejam encaminhados pelo NAT para o seu IP local da forma 192.168.x.x;
• AYIYA – Quando você está atrás de um NAT e não há como configurar o DMZ do seu roteador.

Neste post falarei apenas do segundo tipo de túnel que é o mais comum em cenários residenciais e é o qual eu uso em casa atualmente.

Requisitando e obtendo um Túnel

Logue e faça o request de um Túnel, escolhendo o Ponto De Acesso mais próximo a você. Por enquanto o único no Brasil fica em Uberlândia, MG e pelos meus testes, possui apenas 40ms de latência. O nome do PoP é brudi01. Quando for preencher o motivo pelo qual você escolheu este PoP pode dizer que é o único em seu país.

Novamente o seu pedido será analisado pelo pessoal do SixXS e a resposta deverá chegar no dia seguinte. Logue novamente no site e veja que agora há um túnel na sua lista de túneis. Clique nele.

Exemplo de túnel 6in4 heartbeat aprovado

Os dados mais importantes que você deverá ter em mãos quando for configurar o túnel no seu computador são:

• PoP IPv4
• IPv6 Prefix
• Your IPv6

Neste instante você possui apenas um IPv6 fixo real e um gateway padrão IPv6. No exemplo ao lado o endereço é 2001:1291:200:200::2 e o  gateway padrão é 2001:1291:200:200::1. A máscara de sub-rede é /64, isto é, 64 bits à esquerda são ‘1’s e os restantes à direita são ‘0’s.

Configurando o túnel no Windows Vista/7

Agora você irá criar e configurar o adaptador virtual 6in4 do seu computador através do comando netsh, pois infelizmente o Windows não exibe o adaptador virtual nas Conexões de Rede. Para isto abra o Prompt de Comando como Administrador e digite :

1) netsh in ipv6 add v6v4tunnel sixxs [seu endereço ipv4] [endereço ipv4 do PoP]

Isto irá criar o adaptador virtual de túnel.

O campo [seu ipv4] deverá ser o seu IPv4 da internet (caso você esta conectado diretamente à Internet) ou o seu IPv4 Local (caso você esteja atrás de um NAT, mas não esqueça de configurar este IP Local no DMZ do seu roteador!!!!).

2) netsh in ipv6 add address sixxs [seu endereço IPv6]

Isto irá definir o IPv6 real e fixo ao seu adaptador virtual recém criado

3) netsh in ipv6 add route [Prefixo IPv6, 64 bits à esq. apenas]/[Tamanho da máscara de sub-rede] sixxs

Isto irá dizer à tabela de roteamento qual o seu prefixo e a sua máscara de sub-rede e também que para acessar a sub-rede IPv6 (entre você e o seu PoP, deve-se usar a interface “sixxs” diretamente sem roteadores). Ignore caso o netsh retorne que esta rota já existe.

4) netsh interface ipv6 add route 0::/0 sixxs publish=yes

Isto irá dizer à tabela de roteamento que para acessar a rede 0::/0 (ou seja , toda a Internet IPv6) deve-se utilizar a interface “sixxs”.

Finalmente, se estiver no Windows Vista:

5) netsh firewall set icmpsetting SixXS enable all

Isto irá permitir que o computador seja “pingado”

Exemplos de alguns comandos:

Com uma conexão direta à Internet com  IPv4 real 189.56.76.123

1) netsh in ipv6 add v6v4tunnel sixxs 189.56.76.123 201.48.254.14

OU, se for rede local atrás de NAT com IPv4 local 192.168.0.11

1) netsh in ipv6 add v6v4tunnel sixxs 192.168.0.11 201.48.254.14

2) netsh interface ipv6 add address sixxs 2001:1291:200:200::2

3) netsh interface ipv6 add route 2001:1291:200:200::/64 sixxs

No passo 3 verifique que não foi utilizado o último algarismo “1”,  do prefixo, pois o prefixo é toda a parte do endereço que bate com a máscara (apenas 64 bits à esquerda) e o endereço 2001:1291:200:200::1 é na verdade o endereço IPv6 do seu PoP.

Mantendo o PoP informado da mudança do seu endereço IPv4 Real

O projeto SixXS criou um programa chamado AICCU para, entre outras coisas, implementar o protocolo de heartbeat mantendo o túnel ativo e informando ao PoP qual o seu IPv4 real.

Deve-se estar com o relógio do computador atualizado, pois o heartbeat usa ticks com timestamp para manter o túnel ativo.

Há duas versões, a console e gui. No momento, se você estiver usando Windows 64 bits com o túnel tipo AYIYA você deve utilizar a versão console, mas como estamos utilizando um túnel do tipo 6in4-heartbeat, a versão gui nos serve. Faça download do mesmo.

Abra o AICCU, logue com o seu Handle e Senha, escolha o seu túnel, marque Behind Nat se você estiver atrás de um NAT, e clique em Enable. Se você quiser que o túnel seja ativo automaticamente quando abrir o AICUU marque Auto Enable.

Feche a janela e o AICCU irá se minimizar. Você deve mantê-lo rodando para manter o túnel funcionando.

DNS com IPv6

A resolução de nomes DNS é independente da versão do IP que você usa para fazer pedidos DNS aos servidores DNS.

Por exemplo, os servidores DNS do Google 8.8.8.8 e 8.8.4.4 retornam tanto endereços v4 quanto v6  para o nome www.google.com

O importante é que você deve utilizar servidores DNS que retornem endereços IPv6 também. Sugiro o uso dos servidores DNS do Google que permitem o acesso o Facebook através de www.v6.facebook.com ou http://ipv6.google.com.

Testando a conexão

Tente ping ipv6.google.com

Acesse www.sixxs.net e verifique no rodapé que o site reconheceu que a sua conexão foi feita por IPv6.

Acesse www.v6.facebook.com.

O site Test-IPv6 é uma ótima forma de testar a conectividade IPv6.

Parte 2

No próximo post , mostrarei como obter uma sub-rede com prefixo /48, tornar o seu computaor, que possui o Adaptador Virtual IPv6, um roteador IPv6, e permitir que você tenha 2^16 subredes em casa cada uma com 2^64 dispositivos; todos com IPv6 reais (Global Unicast) da Internet.

A melhor maneira que encontrei para fazer isso foi o Yahoo Pipes, que, de maneira resumida, é um gerador de fluxo, com diversas possibilidades de filtros e ações.Para explicar melhor o que o Pipes faz, é mais fácil dar exemplos.

Assinava o feed do Lifehacker completo, mas, meu real interesse eram dicas sobre Macs. Para tal, filtrava com o poder do meu cérebro, tentando, rapidamente, achar a palavra “Mac” nas notícias. Obviamente perdia muito tempo e a taxa de erro era imensa. Fazer um programa em PHP, Ruby on Rails ou qualquer outra coisa similar, seria fácil, mas, não tanto quanto criar um fluxo no Yahoo Pipes.

Para isso, basta ter uma conta do Yahoo, acessar o Pipes e começar a criar. Ou, ainda, buscar por fluxos que outros criaram e que servem ao seu propósito.

Esse do Lifehacker é bem simples, mas dá pra fazer coisas inacreditáveis. Cheguei a criar um fluxo que dava parse num HTML para gerar um RSS. Não é a coisa mais fácil do mundo – qualquer um que já tentou encontrar lógica num HTML sabe do que estou falando –, mas, é bem mais fácil do que fazer seu próprio programa, arrumar um local na web para colocá-lo e só então poder usá-lo.

Como se vê a seguir, meu fluxo pega o feed do Lifehacker e busca em cada campo pelas palavras “mac”, “os x” ou “ios” e colocam isso no output.

Filtros e output do Yahoo Pipes do Lifehacker.

A ferramenta funciona com drag-and-drop. Na esquerda, existem diversas opções de entrada, filtros e lógicas que podem ser aplicadas. Basta selecionar e juntar de maneira sequencial as ações.

Outra sequencia que criei foi para filtrar as novas legendas do Legendas.tv para ver apenas as séries que eu acompanho. Não está 100% ainda, pois a busca é com “ous” e, portanto, tenho que remover coisas como “desperate” para que ele ache “house”, mas não “desperate housewifes”. Mas, com certeza filtrar manualmente algumas coisas incorretas é bem mais fácil do que o processo antigo.

Filtros e output do Yahoo Pipes do Legendas.tv

Neste exato momento, estou criando um Pipe para tentar transformar em RSS as suspensões de rodízio de SP da CET. Será um parto, mas, sei que é possível. Para ver meus Pipes, basta entrar no meu perfil. Se você tem algum Pipe interessante ou alguma dica e quer compartilhar, deixe nos comentários.

Eu também deixei meu comentário no blog oficial do KingHost, porém eles não o aprovaram.

Eu não quero dizer o que penso sobre essas instituições neste artigo (mesmo porque não conheço elas muito bem), mas gostaria de deixar meu comentário a respeito do assunto registrado aqui, no Bit a Bit, que é um blog aberto e sem censura.

Para vender seus serviços, o KingHost argumenta que a localização de um site influencia o posicionamento do seu site no ranking do Google quando a busca é feita no Brasil. Até aí sem problemas, de fato a geolocalização de um site influencia no resultado da busca. Se você buscar por “Barbolo” no Google Brasil e no Google EUA verá que os resultados divergem bastante.

O que eu não achei correto (moralmente e tecnicamente) foi a conclusão deles:

Conclusão, de acordo com palavras do Engenheiro de Software do Google Matt Cuts: Hospedagem no Brasil faz diferença para o teu site ser bem rankeado no Google!

Meu comentário:

O Google pode usar IPs dos servidores como um dos recursos para adivinhar o país de origem de um site. Além deste recurso, ele também pode usar o domínio, a língua do site, os países de origem dos sites que apontam para ele, entre outros. O IP é possivelmente um dos recursos mais insignificantes.

Existem diversos motivos para se hospedar sites no exterior, com certeza o principal é o preço. Você consegue servidores muito melhores por preços muito menores fora do Brasil. O tempo de resposta desses servidores realmente será maior do que o de um servidor hospedado no Brasil (os pacotes trocados com seu computador vão passar por um caminho maior e por uma quantidade maior de roteadores, ou seja, vão demorar mais para chegar em seus destinos). Mas essa diferença é da ordem de milissegundos, o que significa que para a maioria dos sites será insignificante. Outros fatores como banda, processamento ou memória poderão fazer a real diferença no desempenho do seu site.

Também queria aproveitar este post para deixar uma sugestão minha para empresas que entram na Internet:

Se sua empresa está na Internet, com blog, twitter e canais de comunicação, a pior coisa que existe é censurar usuários. Nós ficamos revoltados com isso e perdemos o respeito e consideração por seus serviços.

Este artigo analisa técnicas e softwares que o Facebook usa para funcionar nesse nível.

Facebook: desafio de escalabilidade

Antes de entrar em detalhes, aqui estão alguns factóides para dar uma idéia do desafio de escalabilidade com o qual o Facebook tem que lidar:

• O Facebook serve mais de 550 bilhões de visualizações de páginas por mês;

• Há mais fotos no Facebook do que em todos os outros sites de fotos juntos (incluindo sites como o Flickr);

• Mais de 3 bilhões de fotos são visualizadas por dia;

• Mais de 25 bilhões de tipos de conteúdo (atualizações de status, comentários, etc) são compartilhados todo mês;

• O Facebook tem mais de 60 mil servidores.

Softwares para escalar

A infraestrutura de software que o Facebook usa pode ser vista como a de um site LAMP, mas com melhorias e extensões de vários serviços. Por exemplo:

• O Facebook usa PHP, mas tem um compilador que permite que o sistema execute código nativo nos servidores web, aumentando significativamente seu desempenho;

• O Facebook usa Linux, mas é um Linux otimizado para garantir alta vazão de rede;

• O Facebook usa MySQL, mas principalmente para persistência de chaves-valores (Hashes), movendo lógicas de consultas e JOINS para a camada de aplicação dos servidores web em que otimizações são mais fáceis de implementar, usando por exemplo caches em memória;

• Por fim, há sistemas customizados, como o Haystack, um objeto de armazenamento altamente escalável usado para servir a imensa quantidade de fotos do Facebook, e o Scribe, um sistema de logging (registro de ações) que consegue operar na escala do Facebook (nada trivial).

Vamos ao que interessa. Abaixo são apresentados os softwares (alguns) que o Facebook usa para fornecer a todos nós a maior rede social do mundo.

Memcached

O Memcached é no momento um dos softwares mais famosos na Internet. É um sistema de cache em memória distribuído que o Facebook (e vários outros sites) usam como uma camada de cache entre aplicação web e banco de dados (já que acesso a disco rígido é relativamente lento). Ao longo dos anos, o Facebook realizou diversas otimizações no Memcached e nos softwares que rodam em conjunto com ele.

O Facebook roda milhares de servidores Memcached com dezenas de tearabytes de dados em cache a todo momento. É provavelmente a maior instalação de Memcached do mundo.

HipHop for PHP

PHP é uma linguagem interpretada e por isso seu código quando executado é relativamente lento quando comparado com código que executa nativamente. O HipHop converte PHP em código C++ que pode ser então compilado e apresentar um desempenho melhor. Isso permite que o Facebook aproveite muito melhor seus servidores web já que dependem demais de PHP para servir conteúdo.

Uma pequena equipe de engenheiros no Facebook (inicialmente, apenas três) passou 18 meses desenvolvendo o HipHop, que agora é usado em produção.

Haystack

Haystack é o sistema de armazenamento e recuperação de fotos de alto desempenho do Facebook (a rigor, o Haystack é um armazenador de objetos, então ele não armazena apenas fotos). Existem mais de 20 bilhões de fotos no Facebook e cada uma é armazenada em quatro diferentes resoluções, resultando em mais 80 bilhões de fotos.

O desafio do Haystack não é apenas armazenar bilhões de fotos, mas também executar tarefas com elas em que o desempenho é crítico, como por exemplo remoção, atualização ou acesso.

BigPipe

O BigPipe é um sistema dinâmico para servir páginas web que o Facebook desenvolveu. Ele é capaz de dividir uma página em seções (chamadas “pagelets“) e servi-las em paralelo com desempenho ideal.

Por exemplo, a janela de chat é carregada separadamente, o feed de notícias é carregado separadamente, e assim por diante. Esses “pagelets” podem ser carregados em paralelo, que é de onde vem o ganho de desempenho, e os usuários recebem um site que funciona mesmo se uma parte dele for desativada ou estiver com defeitos.

Cassandra

Cassandra é um sistema de armazenamento distribuído baseado no projeto do BigTable. Ele é um dos filhos de destaque do movimento NoSQL e se tornou open source (virou um projeto Apache). O Facebook o usa na pesquisa Inbox.

Além do Facebook, uma série de outros sites também o usam, como o Twitter e o Digg. É um sistema capaz de armazenar uma quantidade imensa de dados sem comprometer o tempo de busca e acesso a eles.

Scribe

Scribe é um sistema de logging flexível e escalável que o Facebook usa para uma infinidade de propósitos internos. Ele foi criado para ser capaz de registrar todas as ações ocorridas no Facebook, e automaticamente lida com novas categorias de ações registradas conforme aparecem (o Facebook tem centenas).

Hadoop e Hive

O Hadoop é uma implementação open source de MapReduce que permite a execução de cálculos em uma quantidade massiva de dados. O Facebook o usa para análise de dados de sua rede. O Hive é uma interface de acesso ao Hadoop através de consultas SQL, facilitando seu uso, e teve origem dentro do Facebook.

Tanto o Hadoop quanto o Hive são open source (projetos Apache) e são usados por uma série de grandes sites, como o Yahoo e o Twitter.

Thrift

O Facebook usa diferentes linguagens para os seus diferentes serviços. PHP é usada para front-end, Erlang é usada para Chat, Java e C++ são usados em diversas áreas. Thrift é um framework cross-language desenvolvido internamente que junta todas as diferentes linguagens, permitindo que elas conversem entre si. Isso facilita enormemente o desenvolvimento cross-language no Facebook.

O Facebook tornou o Thrift open source e adicionou suporte a mais linguagens de programação.

Varnish

O Varnish é um acelerador HTTP, que pode agir como um balanceador de carga e também realiza cache de conteúdo para servi-lo rapidamente.

O Facebook usa o Varnish para servir fotos, lidando com bilhões de requisições todos os dias. Como quase tudo que o Facebook usa, o Varnish também é open source.

Outras coisas que ajudam o Facebook a funcionar bem

Foram mencionados os softwares que constituem o Facebook e o ajudam a escalar. Mas operar um sistema tão grande é uma tarefa complexa, por isso serão listadas outras coisas que ajudam o Facebook a funcionar sem problemas:

Lançamento gradual de novas funcionalidades e execuções no escuro

O Facebook tem um sistema chamado de “Gatekeeper” (porteiro) que permite que eles rodem diferentes versões do sistema para diferentes conjuntos de usuários. Ele permite que o Facebook lance novas funcionalidades gradualmente e que testes A/B sejam realizados com usuários.

O “Gatekeeper” também é responsável por realizar o que é chamado de “dark launches” (lançamentos no escuro), que é a ativação de elementos de uma nova funcionalidade antes de ela ir pro ar. É uma maneira de realizar testes de carga do sistema antes de uma funcionalidade ser oficialmente lançada. Normalmente os “dark launches” são realizados duas semanas antes do lançamento oficial da funcionalidade.

Monitoramento do sistema em produção

O Facebook cuidadosamente monitora seu sistema e o desempenho de cada função PHP executada em ambiente de produção. Com isso é possível projetar um perfil do sistema que está no ar com a ajuda de uma ferramenta chamada XHProf e identificar gargá-los ou áreas que estão operando incorretamente.

Desativação gradual de recursos para aumento de desempenho

Se o Facebook tiver algum problema de desempenho, existe um grande número de recursos não-críticos que podem ser desativados para aumentar o desempenho de funcionalidades vitais da rede social. Desta forma, em uma situação de emergência, o núcleo da rede social poderá continuar funcionando normalmente.

Coisas que não foram mencionadas

O hardware usado pelo Facebook não entrou em discussão neste artigo, mas é um aspecto importante de analisar quando se pensa em escalabilidade. Por exemplo, o Facebook usa a rede CDN para servir conteúdo estático e possui enormes data centers que hospedam milhares de servidores.

E além do que foi mencionado, existem diversos outros softwares envolvidos na operação do Facebook. Neste artigo foram destacadas as escolhas mais interessantes que o Facebook fez.

Facebook e projetos open source

Antes de encerrar o artigo, é importante mencionar o quanto o Facebook, assim como outras grandes empresas de Internet, apoia projetos open source. O Facebook não apenas usa e contribui com software open source como Linux, Memcached, MySQL e Hadoop, como também desenvolve internamente diversas ferramentas que são disponibilizadas como projetos open source.

Uma lista com todos os projetos open source em que o Facebook atua pode ser encontrada na página Open Source – Desenvolvedores do Facebook.

Mais desafios de escalabilidade por vir

O Facebook cresce a passos incríveis. Sua base de usuários aumenta quase que exponencialmente e já superou 500 milhões de usuários. Ele tem mantido uma taxa de cerca de 100 milhões de novos usuários a cada 6 meses.

O rápido crescimento significa que o Facebook vai ter problemas e diversos desafios de desempenho para apresentar cada vez mais páginas, buscas, imagens, mensagens e todos os outros recursos com os quais os usuários interagem. Para um site como o Facebook, este sempre será um fato com o qual ele terá que viver, e seus engenheiros estarão sempre atentos e criando novas maneiras de fazer o sistema escalar.

Vamos acompanhar o que os engenheiros do Facebook estão desenvolvendo! Com certeza surgirão coisas interessantes, afinal de contas, eles estão escalando uma montanha que muitos de nós podemos apenas sonhar; um site com mais pessoas do que a maioria dos países. Quando isso acontece, é preciso ser criativo.

Este artigo é uma adaptação/atualização para o português do artigo em inglês Exploring the software behind Facebook, the world’s largest site.

O exemplo que vai guiar este artigo é a criação de um aplicativo que extrai o preço de um produto qualquer do site da Fast Shop. Ele será usado para encontrarmos o preço do MacBook White.

1. Instalando Ruby + RubyGems

Se você usa Windows, baixe e instale a última versão estável do interpretador Ruby clicando aqui.

Se você usa Mac OS X, Solaris ou uma distro linux popular, seu sistema já vem com Ruby instalado.

RubyGems é um gerenciador de pacotes (programas e bibliotecas) para Ruby. Para instalá-lo, baixe a última versão do aplicativo clicando aqui e execute o comando abaixo no diretório com o arquivo descompactado:

ruby setup.rb
gem update --system

2. Instalando Nokogiri

Mac OS X

sudo port install libxml2 libxslt
sudo gem install nokogiri

Ubuntu/Debian

# pacotes de desenvolvimento ruby
sudo apt-get install ruby1.8-dev ruby1.8 ri1.8 rdoc1.8 irb1.8
sudo apt-get install libreadline-ruby1.8 libruby1.8 libopenssl-ruby
 
# requisitos do nokogiri
sudo apt-get install libxslt-dev libxml2-dev
sudo gem install nokogiri
 
# requisitos do nokogiri para Hardy (8.04) ou uma versão mais atual
sudo apt-get install libxslt1-dev libxml2-dev

Windows

gem install nokogiri

3. Baixando a página do produto

O trecho de código que baixa a página do MacBook se encontra abaixo:

1
2
3
4
5
6
7
8

# url do produto
url = 'http://www.fastshop.com.br/MACBOOK-WHITE-COM-INTEL-CORE-2-DUO--2GB--HD-250GB--TELA-133--PLACA-GRAFICA-NVIDIA-GEFORCE-320M-COM-256MB--SISTEMA-OPERACIONAL-MAC-OS-X-LEOPARD---APPLE---MC516BZA,product,AEMC516BZA,3.aspx'
 
# html da página
html = Net::HTTP.get URI.parse(url)
 
# html analisado pelo nokogiri
doc = Nokogiri::HTML(html)

4. Extraindo o preço do produto

Para extrair o preço do produto a partir do HTML baixado, vamos utilizar o plugin Firebug para analisar a estrutura do HTML. Ele permitirá que encontremos o XPath (XML Path Language) do elemento que contém o preço do produto.

Na captura de tela abaixo, podemos ver como isso é feito:

Verificamos que a seguinte estrutura de nós de HTML guarda o preço do produto:

<div id="boxInfosPagamento">
   <p class="preco">
        <span>PRECO DO PRODUTO</span>
   </p>
</div>

Podemos traduzir essa estrutura para o seguinte XPath:

"//div[@id='boxInfosPagamento']/p[@class='preco']/span"

5. Aplicativo final

O aplicativo final que imprime o preço do produto pode ser visto abaixo:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# importando bibliotecas necessárias:
require "rubygems"
require "nokogiri"
require "net/http"
 
# url do produto
url = 'http://www.fastshop.com.br/MACBOOK-WHITE-COM-INTEL-CORE-2-DUO--2GB--HD-250GB--TELA-133--PLACA-GRAFICA-NVIDIA-GEFORCE-320M-COM-256MB--SISTEMA-OPERACIONAL-MAC-OS-X-LEOPARD---APPLE---MC516BZA,product,AEMC516BZA,3.aspx'
 
# html da página
html = Net::HTTP.get URI.parse(url)
 
# html analisado pelo nokogiri
doc = Nokogiri::HTML(html)
doc.encoding = 'utf-8'
 
# preço do produto
puts doc.xpath("//div[@id='boxInfosPagamento']/p[@class='preco']/span")[0].inner_html

A captura de tela abaixo mostra a execução do aplicativo:

6. Conclusões

Nokogiri é uma biblioteca muito robusta que suporta seleção de elementos com XPath ou seletor CSS3 de forma simples e eficiente. Sempre que precisar analisar XML ou HTML, considere usá-la em seu projeto.

Em artigos futuros vou falar mais sobre extração e análise de informações da Internet. Se tiver alguma dúvida ou sugestão de tema, deixe seu comentário!

Lançado no começo do mês, o aplicativo facilita muito subir arquivos para compartilhar com quem você quiser, seja usando o Twitter, seja enviando um e-mail com o link.

CloudApp instalado na barra de menus

Depois de se cadastrar no site – grátis, com a única limitação de arquivos não serem maiores que 50 MB – e instalar o programa, que fica alojado na barra de menus, basta arrastar “qualquer coisa” para cima dele ou usar a tecla de atalho (você pode definir a que quiser – eu estou usando CMD+SHIFT+2, já que isso se parece com os atalhos para tirar fotos da tela – para “qualquer coisa” ser enviada para os servidores deles.

Assim que o arquivo termina de subir, o endereço do tipo “http://cl.ly/xxx” é colocado no seu clipboard, bastando um CMD+V para colar o endereço. Além disso, ele te avisa, com som ou usando o Growl que o upload terminou.

Growl avisando que o arquivo foi enviado

O programa ainda conta com Raindrops, plugins que permitem que o atalho de envio de arquivo funcione com diversos programas. Basta baixar, clicar duas vezes e sair usando!

Raindrops instalados

Para completar o pacote, como todo bom encurtador de URL, o CloudApp te mostra quantas vezes cada link foi clicado, tanto pelo aplicativo na barra de menus, quanto pelo site.

Estatísticas de downloads no site

Quando se clica num link de arquivo que não pode ser aberto nativamente pelo browser (PDFs, DOCs, ZIPs e coisas do tipo), você é levado para uma tela com opção de download, já, quando é uma imagem ou uma URL, o programa abre o link diretamente no lugar.

Download de arquivo "não nativo" do browser

Resumindo… se você tem um Mac, baixe o CloudApp agora, que é, até o momento, totalmente grátis.

Fonte: MacMagazine e Lifehacker

Não que eu seja contra conceito de tags (que me desculpem os puristas, mas não vou chamar tags de “etiquetas”), muito pelo contrário. Muitas coisas não se enquadram em apenas uma “pasta”, mas sim a várias, por isso, o conceito de tags é muito mais inteligente.

Porém, em termos de organização, agrupar assuntos similares é essencial e por isso o agrupamento de tags no formato de pastas sempre foi tão esperado por mim.

Já usava isso com o Better Gmail, mas, além de ser mais um plugin deixando meu Firefox na velocidade de uma tartaruga, não é em todo lugar que vc pode instalá-lo.

Foi com extrema felicidade que li hoje que a função foi finalmente implementada no Labs. Basta clicar no Erlenmeyer verde e ativar a nova função!

Entre no Labs e faça uma busca por "Nested" para chegar direto!

Depois de ativada, basta aninhar as tags usando uma “/”.

Nesse exmplo, fiz 3º Módulo Acadêmico/automação…

Infelizmente, a coisa não funciona tão bem quanto poderia. Se você alterar o nome de uma “raiz”, terá que alterar todos seus filhos na mão. Então cuidado ao decidir os nomes!

Fonte: O Velho

Como disse no post anterior, uso os próprios sites para ler meus e-mails, portanto não tenho a facilidade de quem usa o Mail para saber quando uma nova mensagem chegou.

Para resolver isso, usava o Google Notifier for Mac, do próprio Google, mas tem um pequeno detalhe: ele só permite a configuração de uma conta. Pesquisando, achei umas gambiarras para duplicar o programa e configurar cada um com uma conta… muito trabalho.

Peguei então o Notify 2. Ele faz praticamente a mesma coisa que o programa “oficial”, mas permite que você adicione múltiplas contas.

Dentre as funcionalidades do programa, destaco as seguintes:

• coloca o número de mensagens não lidas na barra de menu e preview das mensagens

Contagem de e-mails não lidos e preview

• escolha de quanto em quanto tempo checar as contas. Essa é uma “desvantagem” em relação ao oficial que funciona por push.

Configuração de tempo de verificação e alertas do Growl

• escolha do som que deve ser tocado quando uma mensagem chega

Configuração de sons de alerta

• notificações do Growl

Aviso do Growl

• vira seu “leitor de e-mails padrão”. Isso significa que, quando você clicar num link com “mailto”, o programa entrará em ação e abrirá uma janela para você escrever o e-mail.

Seleção de programa de e-mail padrão

Janela de composição de novo e-mail

O programa é grátis, mas tem também uma versão paga (US$ 10,00), mas não senti necessidade dela, a grátis faz exatamente o que eu precisava!

Uma solução seria adicionar uma conta na outra usando pop, mas isso misturaria os e-mails e não estava afim disso.

Uma solução que tentei e até funcionou, mas que é um POG total foi a seguinte:

• Em casa, sincronizava, pelo Address Book do Mac OS X com a conta pessoal e com uma conta do Yahoo, que criei só pra isso.
• No Trabalho e no iPhone, sincronizava com a conta do trabalho e do Yahoo.

Até que funcionava, mas não tão bem quanto eu gostaria.

Recebi sugestões de criar um script que baixasse o CSV de uma conta e subisse para a outra de tanto em tanto tempo. Além de odiar reinventar a roda, isso não funcionaria nas duas mãos.

Enfim, pesquisando sobre o assunto, achei o Soocial.

O aplicativo mantém sincronismo entre diversas contas de diversos serviços.

Serviços aceitos pelo Soocial até o momento

No começo a coisa foi meio casca grossa, principalmente porque meus contatos estavam “semi sincronizados”. Então, pra não correr riscos, o programa automaticamente faz um backup dos contatos das contas do Gmail!

Conexões feitas: Duas contas de Gmail, dois Macs e um iPhone. Tudo sincronizado!

Para fazer o sync no Mac, basta baixar uma preferência de sistema onde vc coloca sua conta e diz de quanto em quanto tempo ele deve verificar as contas e sincronizar. A sincronia é feita em todas as direções, então basta adicionar um contado em qualquer uma delas!

Preferências do Soocial no Mac OS X

Não sei como a sincronia é feita no Windows e se alguém testar no Windows e puder contribuir, agradeço!

No iPhone, você pode baixar um programa, mas eu preferi deixar isso pro próprio iTunes, já que não tenho necessidade de atualizar as coisas tão rapidamente assim.

Além dos meios normais, você pode utilizar o próprio site do Soocial buscar, incluir e alterar contatos e forçar sincronizações.

Meus contatos no site do Soocial

Só por isso o serviço já valeria ouro, mas ainda tem mais!

Você pode fazer “conexões” com seus contatos. Isso é, sempre que um contato “conectado” alterar seus dados, estes são automaticamente sincronizados com os dados que você tem dele!

Como “vantagem” pouca é bobagem, o serviço é totalmente grátis!

Se você me conhece e passar a usar o serviço, faça uma conexão comigo pra mantermos nossos contatos atualizados