Normalizing latin chars (á, é, ç, …) to ASCII chars (a, e, c, …) in our search index and queries was pretty easy. We changed the text field definition to the following schema:

1
2
3
4
5
6
7
8
9

<fieldType name="text" class="solr.TextField" omitNorms="false">
	<analyzer>
		<charFilter class="solr.HTMLStripCharFilterFactory"/> <!-- strip HTML -->
		<tokenizer class="solr.StandardTokenizerFactory"/>
		<filter class="solr.StandardFilterFactory"/>
		<filter class="solr.LowerCaseFilterFactory"/>
		<filter class="solr.ASCIIFoldingFilterFactory"/> <!-- convert accented chars to ASCII -->
	</analyzer>
</fieldType>

A more difficult problem was to sort accented string fields. By default, the class of the sunspot’s string field is solr.StrField. The string field is used for sorting, but was showing problems to sort accented inputs. For the inputs “árvore”, “bola”, “ano” it was showing the sorted result: “ano”, “bola”, “árvore” (the correct result would be “ano”, “árvore”, “bola”).

The problem with accented chars sorting is that non-ASCII chars are represented as HTML entites (for example, á instead of á) and special chars as “&” goes after alphanumeric chars in a sort.

To solve this, we changed the string field’s class to solr.TextField but making sure that its tokenizer would not create more than one token for each entry. The tokenizer we used was the KeywordTokenizer. The final schema for the string field was:

1
2
3
4
5
6
7

<fieldType name="string" class="solr.TextField" omitNorms="true">
	<analyzer>
		<tokenizer class="solr.KeywordTokenizerFactory"/>
		<filter class="solr.LowerCaseFilterFactory"/>
		<filter class="solr.ASCIIFoldingFilterFactory"/>
	</analyzer>
</fieldType>

.

Teoria envolvida

Para a última etapa do projeto, foi necessário conhecer e organizar todas as faces pelos momentos em que elas aparecem nas tomadas do vídeo e a que pessoas elas correspondem. Para isso, foram utilizados alguns conceitos e teorias já apresentados nos artigos anteriores da série, mas também outros tópicos ainda não estudados. Para todos os assuntos, serão listadas fontes interessantes para estudo.

Detecção de características faciais (olhos, nariz, boca):

Técnica de Viola e Jones com as cascatas adequados para cada característica facial. Mais detalhes sobre essa técnica em Detecção e rastreamento de faces em vídeos – Como detectar faces em vídeos?.

Transformação Afim:

Link da Wikipedia sobre transformação afim Link da Wikipedia sobre a matriz de transformação Como realizar transformação afim utilizando o OpenCV Link interessante para um projeto da Universidade do Porto que trata de mosaico de imagens. Com a leitura, além de aprender sobre transformação afim e correlação, você entenderá outra possibilidade de uso desse tipo de transformação e também outras teorias envolvidas para a realização desse projeto.

Correlação:

Fast Normalized Cross-Correlation Como realizar Template Matching utilizando o OpenCV Código exemplo sobre Template Matching utilizando OpenCV

Kmeans:

Link da Wikipedia sobre Kmeans Link explicando sobre Kmeans Link para uma explicação curta e um exemplo Slides explicativos sobre o Kmeans

.

Aplicação no projeto

A ideia central dessa etapa era preparar os dados para a criação da estrutura de indexação a ser utilizada pelo hipervídeo. Para isso, inicialmente, seriam identificadas as expressões faciais para a face de cada pessoa presente em uma tomada. O objetivo era guardar a face mais frontal possível e também os pontos necessários para a transformação afim que ocorre como passo seguinte. Com essa transformação afim e a aplicação da máscara, preparávamos as faces pela criação de um padrão para que elas pudessem ser comparadas através de um método simples como o de correlação. Com o valor da correlação entre as faces calculado, utilizava-se o Kmeans para criar grupos de faces semelhantes, o que corresponderiam a faces de uma mesma pessoa. Os parágrafos abaixo explicarão com mais detalhes essas etapas. Primeiramente, foi adicionado ao sistema uma funcionalidade que permitia extrair de todo quadro do vídeo apenas a imagem de cada face existente. Com a imagem da face; olhos, nariz e boca eram identificados usando o algoritmo de Viola e Jones com um filtro de Haar em cascata adequado para cada caso. Para diminuir a quantidade de falsos positivos para essas características faciais, foram criadas regiões de interesse para cada uma delas e o método citado era aplicado apenas nessas regiões. A partir do retângulo correspondente aos olhos e ao nariz, eram extraídas as coordenadas do centro dessas características. Na figura 1 pode-se observar as características faciais detectadas.

Figura 1 - Pode-se observar o centro encontrado para o nariz, olhos e boca.

Além de útil para a próxima etapa, uma face que contém dois olhos e um nariz, é uma face ”mais frontal” do que uma que não as contém, o que é muito mais interessante para o projeto. Assim, para cada quadro do vídeo, se a imagem da face não possuísse dois olhos e um nariz, tentava-se fazer uma troca pela imagem da face do próximo quadro, contanto que nessa fossem identificadas mais características faciais. Com esse procedimento, o sistema tenta obter a melhor face possível para cada pessoa em uma tomada. O próximo passo foi, utilizando os centros encontrados anteriormente, realizar uma transformação afim da face encontrada para uma face padrão em tons de cinza. Essa tinha um tamanho pré definido (64 pixels de altura e 48 de largura) e também uma posição padrão para os olhos e o nariz (olho esquerdo: (34,26); olho direito: (15,26); nariz: (24,39) ) que foi definida a partir de medições em diversas faces e baseado em proporções faciais encontradas em [1]. Com esse procedimento, tentamos eliminar problemas de translação e rotação de uma face para outra antes da etapa de correlação. Na tentativa de eliminar problemas de iluminação, foi feita uma equalização do histograma. Depois da transformação afim, também era aplicada uma máscara à imagem. Essa máscara permite comparar somente a região dos olhos e do nariz, excluindo regiões inadequadas como a boca e os cantos da imagem já que essas regiões sofrem frequentes modificações inclusive para uma mesma pessoa, o que atrapalharia o processo de cálculo da correlação com o objetivo de encontrar faces de uma mesma pessoa. Na figura 2 observa-se o processo descrito acima para trâs casos.

Figura 2: A figura apresenta, na coluna da esquerda, a face após a transformação afim e equalização do histograma. Ao centro a máscara aplicada à imagem e na coluna da direita o resultado para a aplicação da máscara.

Até esse ponto, os problemas principais estavam relacionados a encontrar os olhos e o nariz nas faces. Nem sempre conseguíamos faces frontais em uma tomada, pois, ou ela realmente não era frontal, ou o detetor falhava, tanto não encontrando a característica desejada quanto devolvendo um falso positivo. O ajuste para esse tipo de detecção se mostrou um trabalho minucioso e longo. Em seguida, deu-se início à próxima etapa. Ela consistiu em calcular a correlação entre todas as imagens e com esses dados, montar uma matriz. Essa matriz era passada para o Kmeans, que separava as faces em grupos, sendo que cada um desses grupos possui faces de uma mesma pessoa que apareceu em diversas tomadas do vídeo. Durante essa parte do projeto, também foi projetado o segundo passo para a retirada de falsos positivos. O processo de correlação já implementado também foi utilizado para calcular a correlação entre a face candidata encontrada no vídeo e uma face padrão ideal composta por uma média de faces humanas. Se o valor resultante for acima de um limiar de alto valor, o candidato é aceito como face, caso contrário, é descartado por se tratar de um falso positivo.

.

É isso aí pessoal, encerra-se aqui essa série de quatro artigos sobre detecção e rastreamento facial dentro do contexto da criação de um hipervídeo. Espero que tenham aproveitado.

.

Referências

[1] R. M. Bertollo, D. L. da Silva, L. Oliveira, R. D. Bergoli, and M. G. de Oliveira. Avaliacao da harmonia facial em relacao as proporcoes divinas de fibonacci. Revista Portuguesa de Estomatologia, Medicina Dentaria e Cirurgia Maxilofacial, 49(N4), 2008. . .

.

.

Artigos da série:

Anterior: Como rastrear faces em vídeos?

.

Mas, o TCC do Anauê Costa, que usei como base, tinha um “\newcommand” que simplificava o processo de inserção de imagens (adicione isso nas definições do seu LaTeX):

1
2
3
4
5
6
7
8

\newcommand{\inputpng}[4]{%
 \begin{figure}[!htb]
 \centering
 \includegraphics[width=#4\textwidth]{#1.png}
 \caption{\it #3.}
 \label{fig:#2}
 \end{figure}
 }

então, em vez de:

1
2
3
4

\includegraphics[width=1.0\textwidth]{figuras/p-30-1-multiplataforma-marketshare_gartner.png}
 \caption{caption}
 \label{fig:figuras_p-30-1-multiplataforma-marketshare_gartner}
 \end{figure}

você fica com:

1

\inputpng{figuras/p-30-1-multiplataforma-marketshare_gartner}{figuras_p-30-1-multiplataforma-marketshare_gartner}{caption}{1.0}

Fiz então uma alteração no comando de inserção de imagem pra ele gerar o novo tipo quando arrastar uma imagem.

Para inseri-lo, no TM, aperte CMD+OPTION+CNTRL+B. Isso abrirá o editor de bundles.

Troque de “show all” para “drag commands“, vá até “LaTeX” e selecione o “Include Image“.

Tire a extensão “png” de lá, já que o comando novo só serve para PNG!

Agora clique no botão de + e adicione um “New Drag Command”

chame como quiser… adicione a extensão PNG e cole o código abaixo nele:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

#!/usr/bin/env ruby
 require 'pathname'
 require "#{ENV['TM_BUNDLE_SUPPORT']}/lib/LaTeXUtils.rb"
 filename = ENV["TM_DROPPED_FILEPATH"]
 relative_to = ENV["TM_DIRECTORY"]
 startfile = ENV['TM_LATEX_MASTER'] || ENV['TM_FILEPATH']
 master = Pathname.new(LaTeX.master(startfile))
 unless master.absolute?
 master = master.expand_path(ENV['TM_PROJECT_DIRECTORY'])
 end
 path = Pathname.new(filename).relative_path_from(master.dirname)
 case ENV['TM_MODIFIER_FLAGS']
 when /OPTION/
 puts ["\\\\begin{center}",
 " \\\\includegraphics[height=\${1:3in}]{#{path}}",
 "\\\\end{center}"].join("\n")
 when /SHIFT/
 
puts ["\\\\begin{figure}[\${1:htbp}]",
 "    \\\\centering",
 "        \\\\includegraphics[height=\${2:3in}]{#{path}}",
 "    \\\\caption{\${4:caption}}",
 "    \\\\label{fig:\${5:#{path.to_s.gsub(/(\.[^.]*$)|(\.\.\/)/,"").gsub(/\//,"_")}}}",
 "\\\\end{figure}"].join("\n")
 else
 puts "\\\\inputpng{#{path.to_s.gsub(".png", "")}}{\${1:#{path.to_s.gsub(/(\.[^.]*$)|(\.\.\/)/,"").gsub(/\//,"_")}}}{\${2:caption}}{\${3:1.0}\}"
 end

Adicione também no “Scope Selector” o seguinte:

1

text.tex.latex

Com isso, sempre que você arrastar um PNG pro .tex, ele já vai gerar o código automagicamente!

Segue a imagem de como ficou aqui.

Novo Bundle do TextMate para inserção de imagem em Latex.

Para inserir “PNGs” da forma “original”, basta pressionar SHIFT quando arrastar a imagem.

Observação: Esse é um post transcrito de um e-mail, na pressa, no meio da correria de escrever o TCC da Poli, então, não está bem formatado, cheio de imagens ilustrativas ou coisas do tipo… sorry

Este artigo analisa técnicas e softwares que o Facebook usa para funcionar nesse nível.

Facebook: desafio de escalabilidade

Antes de entrar em detalhes, aqui estão alguns factóides para dar uma idéia do desafio de escalabilidade com o qual o Facebook tem que lidar:

• O Facebook serve mais de 550 bilhões de visualizações de páginas por mês;

• Há mais fotos no Facebook do que em todos os outros sites de fotos juntos (incluindo sites como o Flickr);

• Mais de 3 bilhões de fotos são visualizadas por dia;

• Mais de 25 bilhões de tipos de conteúdo (atualizações de status, comentários, etc) são compartilhados todo mês;

• O Facebook tem mais de 60 mil servidores.

Softwares para escalar

A infraestrutura de software que o Facebook usa pode ser vista como a de um site LAMP, mas com melhorias e extensões de vários serviços. Por exemplo:

• O Facebook usa PHP, mas tem um compilador que permite que o sistema execute código nativo nos servidores web, aumentando significativamente seu desempenho;

• O Facebook usa Linux, mas é um Linux otimizado para garantir alta vazão de rede;

• O Facebook usa MySQL, mas principalmente para persistência de chaves-valores (Hashes), movendo lógicas de consultas e JOINS para a camada de aplicação dos servidores web em que otimizações são mais fáceis de implementar, usando por exemplo caches em memória;

• Por fim, há sistemas customizados, como o Haystack, um objeto de armazenamento altamente escalável usado para servir a imensa quantidade de fotos do Facebook, e o Scribe, um sistema de logging (registro de ações) que consegue operar na escala do Facebook (nada trivial).

Vamos ao que interessa. Abaixo são apresentados os softwares (alguns) que o Facebook usa para fornecer a todos nós a maior rede social do mundo.

Memcached

O Memcached é no momento um dos softwares mais famosos na Internet. É um sistema de cache em memória distribuído que o Facebook (e vários outros sites) usam como uma camada de cache entre aplicação web e banco de dados (já que acesso a disco rígido é relativamente lento). Ao longo dos anos, o Facebook realizou diversas otimizações no Memcached e nos softwares que rodam em conjunto com ele.

O Facebook roda milhares de servidores Memcached com dezenas de tearabytes de dados em cache a todo momento. É provavelmente a maior instalação de Memcached do mundo.

HipHop for PHP

PHP é uma linguagem interpretada e por isso seu código quando executado é relativamente lento quando comparado com código que executa nativamente. O HipHop converte PHP em código C++ que pode ser então compilado e apresentar um desempenho melhor. Isso permite que o Facebook aproveite muito melhor seus servidores web já que dependem demais de PHP para servir conteúdo.

Uma pequena equipe de engenheiros no Facebook (inicialmente, apenas três) passou 18 meses desenvolvendo o HipHop, que agora é usado em produção.

Haystack

Haystack é o sistema de armazenamento e recuperação de fotos de alto desempenho do Facebook (a rigor, o Haystack é um armazenador de objetos, então ele não armazena apenas fotos). Existem mais de 20 bilhões de fotos no Facebook e cada uma é armazenada em quatro diferentes resoluções, resultando em mais 80 bilhões de fotos.

O desafio do Haystack não é apenas armazenar bilhões de fotos, mas também executar tarefas com elas em que o desempenho é crítico, como por exemplo remoção, atualização ou acesso.

BigPipe

O BigPipe é um sistema dinâmico para servir páginas web que o Facebook desenvolveu. Ele é capaz de dividir uma página em seções (chamadas “pagelets“) e servi-las em paralelo com desempenho ideal.

Por exemplo, a janela de chat é carregada separadamente, o feed de notícias é carregado separadamente, e assim por diante. Esses “pagelets” podem ser carregados em paralelo, que é de onde vem o ganho de desempenho, e os usuários recebem um site que funciona mesmo se uma parte dele for desativada ou estiver com defeitos.

Cassandra

Cassandra é um sistema de armazenamento distribuído baseado no projeto do BigTable. Ele é um dos filhos de destaque do movimento NoSQL e se tornou open source (virou um projeto Apache). O Facebook o usa na pesquisa Inbox.

Além do Facebook, uma série de outros sites também o usam, como o Twitter e o Digg. É um sistema capaz de armazenar uma quantidade imensa de dados sem comprometer o tempo de busca e acesso a eles.

Scribe

Scribe é um sistema de logging flexível e escalável que o Facebook usa para uma infinidade de propósitos internos. Ele foi criado para ser capaz de registrar todas as ações ocorridas no Facebook, e automaticamente lida com novas categorias de ações registradas conforme aparecem (o Facebook tem centenas).

Hadoop e Hive

O Hadoop é uma implementação open source de MapReduce que permite a execução de cálculos em uma quantidade massiva de dados. O Facebook o usa para análise de dados de sua rede. O Hive é uma interface de acesso ao Hadoop através de consultas SQL, facilitando seu uso, e teve origem dentro do Facebook.

Tanto o Hadoop quanto o Hive são open source (projetos Apache) e são usados por uma série de grandes sites, como o Yahoo e o Twitter.

Thrift

O Facebook usa diferentes linguagens para os seus diferentes serviços. PHP é usada para front-end, Erlang é usada para Chat, Java e C++ são usados em diversas áreas. Thrift é um framework cross-language desenvolvido internamente que junta todas as diferentes linguagens, permitindo que elas conversem entre si. Isso facilita enormemente o desenvolvimento cross-language no Facebook.

O Facebook tornou o Thrift open source e adicionou suporte a mais linguagens de programação.

Varnish

O Varnish é um acelerador HTTP, que pode agir como um balanceador de carga e também realiza cache de conteúdo para servi-lo rapidamente.

O Facebook usa o Varnish para servir fotos, lidando com bilhões de requisições todos os dias. Como quase tudo que o Facebook usa, o Varnish também é open source.

Outras coisas que ajudam o Facebook a funcionar bem

Foram mencionados os softwares que constituem o Facebook e o ajudam a escalar. Mas operar um sistema tão grande é uma tarefa complexa, por isso serão listadas outras coisas que ajudam o Facebook a funcionar sem problemas:

Lançamento gradual de novas funcionalidades e execuções no escuro

O Facebook tem um sistema chamado de “Gatekeeper” (porteiro) que permite que eles rodem diferentes versões do sistema para diferentes conjuntos de usuários. Ele permite que o Facebook lance novas funcionalidades gradualmente e que testes A/B sejam realizados com usuários.

O “Gatekeeper” também é responsável por realizar o que é chamado de “dark launches” (lançamentos no escuro), que é a ativação de elementos de uma nova funcionalidade antes de ela ir pro ar. É uma maneira de realizar testes de carga do sistema antes de uma funcionalidade ser oficialmente lançada. Normalmente os “dark launches” são realizados duas semanas antes do lançamento oficial da funcionalidade.

Monitoramento do sistema em produção

O Facebook cuidadosamente monitora seu sistema e o desempenho de cada função PHP executada em ambiente de produção. Com isso é possível projetar um perfil do sistema que está no ar com a ajuda de uma ferramenta chamada XHProf e identificar gargá-los ou áreas que estão operando incorretamente.

Desativação gradual de recursos para aumento de desempenho

Se o Facebook tiver algum problema de desempenho, existe um grande número de recursos não-críticos que podem ser desativados para aumentar o desempenho de funcionalidades vitais da rede social. Desta forma, em uma situação de emergência, o núcleo da rede social poderá continuar funcionando normalmente.

Coisas que não foram mencionadas

O hardware usado pelo Facebook não entrou em discussão neste artigo, mas é um aspecto importante de analisar quando se pensa em escalabilidade. Por exemplo, o Facebook usa a rede CDN para servir conteúdo estático e possui enormes data centers que hospedam milhares de servidores.

E além do que foi mencionado, existem diversos outros softwares envolvidos na operação do Facebook. Neste artigo foram destacadas as escolhas mais interessantes que o Facebook fez.

Facebook e projetos open source

Antes de encerrar o artigo, é importante mencionar o quanto o Facebook, assim como outras grandes empresas de Internet, apoia projetos open source. O Facebook não apenas usa e contribui com software open source como Linux, Memcached, MySQL e Hadoop, como também desenvolve internamente diversas ferramentas que são disponibilizadas como projetos open source.

Uma lista com todos os projetos open source em que o Facebook atua pode ser encontrada na página Open Source – Desenvolvedores do Facebook.

Mais desafios de escalabilidade por vir

O Facebook cresce a passos incríveis. Sua base de usuários aumenta quase que exponencialmente e já superou 500 milhões de usuários. Ele tem mantido uma taxa de cerca de 100 milhões de novos usuários a cada 6 meses.

O rápido crescimento significa que o Facebook vai ter problemas e diversos desafios de desempenho para apresentar cada vez mais páginas, buscas, imagens, mensagens e todos os outros recursos com os quais os usuários interagem. Para um site como o Facebook, este sempre será um fato com o qual ele terá que viver, e seus engenheiros estarão sempre atentos e criando novas maneiras de fazer o sistema escalar.

Vamos acompanhar o que os engenheiros do Facebook estão desenvolvendo! Com certeza surgirão coisas interessantes, afinal de contas, eles estão escalando uma montanha que muitos de nós podemos apenas sonhar; um site com mais pessoas do que a maioria dos países. Quando isso acontece, é preciso ser criativo.

Este artigo é uma adaptação/atualização para o português do artigo em inglês Exploring the software behind Facebook, the world’s largest site.

O exemplo que vai guiar este artigo é a criação de um aplicativo que extrai o preço de um produto qualquer do site da Fast Shop. Ele será usado para encontrarmos o preço do MacBook White.

1. Instalando Ruby + RubyGems

Se você usa Windows, baixe e instale a última versão estável do interpretador Ruby clicando aqui.

Se você usa Mac OS X, Solaris ou uma distro linux popular, seu sistema já vem com Ruby instalado.

RubyGems é um gerenciador de pacotes (programas e bibliotecas) para Ruby. Para instalá-lo, baixe a última versão do aplicativo clicando aqui e execute o comando abaixo no diretório com o arquivo descompactado:

ruby setup.rb
gem update --system

2. Instalando Nokogiri

Mac OS X

sudo port install libxml2 libxslt
sudo gem install nokogiri

Ubuntu/Debian

# pacotes de desenvolvimento ruby
sudo apt-get install ruby1.8-dev ruby1.8 ri1.8 rdoc1.8 irb1.8
sudo apt-get install libreadline-ruby1.8 libruby1.8 libopenssl-ruby
 
# requisitos do nokogiri
sudo apt-get install libxslt-dev libxml2-dev
sudo gem install nokogiri
 
# requisitos do nokogiri para Hardy (8.04) ou uma versão mais atual
sudo apt-get install libxslt1-dev libxml2-dev

Windows

gem install nokogiri

3. Baixando a página do produto

O trecho de código que baixa a página do MacBook se encontra abaixo:

1
2
3
4
5
6
7
8

# url do produto
url = 'http://www.fastshop.com.br/MACBOOK-WHITE-COM-INTEL-CORE-2-DUO--2GB--HD-250GB--TELA-133--PLACA-GRAFICA-NVIDIA-GEFORCE-320M-COM-256MB--SISTEMA-OPERACIONAL-MAC-OS-X-LEOPARD---APPLE---MC516BZA,product,AEMC516BZA,3.aspx'
 
# html da página
html = Net::HTTP.get URI.parse(url)
 
# html analisado pelo nokogiri
doc = Nokogiri::HTML(html)

4. Extraindo o preço do produto

Para extrair o preço do produto a partir do HTML baixado, vamos utilizar o plugin Firebug para analisar a estrutura do HTML. Ele permitirá que encontremos o XPath (XML Path Language) do elemento que contém o preço do produto.

Na captura de tela abaixo, podemos ver como isso é feito:

Verificamos que a seguinte estrutura de nós de HTML guarda o preço do produto:

<div id="boxInfosPagamento">
   <p class="preco">
        <span>PRECO DO PRODUTO</span>
   </p>
</div>

Podemos traduzir essa estrutura para o seguinte XPath:

"//div[@id='boxInfosPagamento']/p[@class='preco']/span"

5. Aplicativo final

O aplicativo final que imprime o preço do produto pode ser visto abaixo:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# importando bibliotecas necessárias:
require "rubygems"
require "nokogiri"
require "net/http"
 
# url do produto
url = 'http://www.fastshop.com.br/MACBOOK-WHITE-COM-INTEL-CORE-2-DUO--2GB--HD-250GB--TELA-133--PLACA-GRAFICA-NVIDIA-GEFORCE-320M-COM-256MB--SISTEMA-OPERACIONAL-MAC-OS-X-LEOPARD---APPLE---MC516BZA,product,AEMC516BZA,3.aspx'
 
# html da página
html = Net::HTTP.get URI.parse(url)
 
# html analisado pelo nokogiri
doc = Nokogiri::HTML(html)
doc.encoding = 'utf-8'
 
# preço do produto
puts doc.xpath("//div[@id='boxInfosPagamento']/p[@class='preco']/span")[0].inner_html

A captura de tela abaixo mostra a execução do aplicativo:

6. Conclusões

Nokogiri é uma biblioteca muito robusta que suporta seleção de elementos com XPath ou seletor CSS3 de forma simples e eficiente. Sempre que precisar analisar XML ou HTML, considere usá-la em seu projeto.

Em artigos futuros vou falar mais sobre extração e análise de informações da Internet. Se tiver alguma dúvida ou sugestão de tema, deixe seu comentário!

Logo do OpenCV

Neste post irei dividir com você as experiências que já tive com a instalação da bibliteca OpenCV no Ubuntu. Vou relatar o processo de instalação do OpenCV 1.1 nas versões 8.10, 9.04 e 9.10 do Ubuntu.

Apesar do OpenCV ser tipicamente utilizado com C ou C++, também é possível utilizá-lo com Python (ou Octave) graças aos wrappers criados por terceiros ou ao que já acompanha a versão 1.1 da biblioteca.  Neste texto, focarei a instalação para o uso de Python com o wrapper Ctypes OpenCV. Por que o Ctypes OpenCV? Pois o que acompanha a biblioteca me “deixou na mão” durante o desenvolvimento do último projeto.

.

Passo zero:

(vale para todos as três versões do Ubuntu)

• O OpenCV, funciona com Python, apenas para as versões 2.5.x ou 2.6.x da linguagem. A versão 3.x ainda não tem suporte oficial. Logo, verifique se você possui ele instalado em seu computador, caso contrário, instale o Python 2.6.4.
• Mais umas coisinhas a serem instaladas. Digite no terminal (Aplicativos -> Acessórios -> Terminal) o comando abaixo. Sim, são várias coisas. Algumas são realmente requisitos para a instalação, outras servem apenas para diminuirmos chances de problemas depois. Instale, não dói nada

 sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev
libavformat-dev libavfilter-dev libswscale-dev libtiff-dev libjasper libgstreamer0.10-dev
libxine-dev libunicap-dev libdc1394-22-dev swig ffmpeg mplayer vlc 

• Baixe o OpenCV 1.1, o Ctypes-OpenCV e os exemplos de códigos do Ctypes OpenCV, você vai querer testar e consultar depois.

.

Ubuntu 8.10:

Nesta versão do Ubuntu, a instalação é bem simples e funciona bem. Basta seguir os passos abaixo:

• Após o passo zero, no início desse post, descomprima o OpenCV e, pelo terminal,  entre na pasta criada. Se ela estiver em seu desktop, será algo próximo a:

 cd Desktop/opencv-1.1.0 

• Agora, digite:

 ./configure --disable-sse2 --with-python --with-swig --with-ffmpeg 

Obs.: Para processadores antigos, como o AMD de uns quase dez anos atrás que usei no laboratório, era necessários desativar instruções do tipo SSE2, caso contrário, ao rodar algum programa que usasse o OpenCV você obteria a mensagem: Illegal instruction. Eu não expliquei isso antes de você escrever o comando pois obtive problemas com os wrappers de python caso não desativasse esse tipo de instrução no Ubuntu 9.04 e 9.10, imagino que na versão 8.10 isso também ocorra apesar de não ter testado. Então, se você irá usar o OpenCV com C ou C++, não existe necessidade do –disable-sse2, caso contrário, é melhor desativar esse tipo de instrução.

• Agora preste atenção ao pequeno relatório que apareceu em seu terminal. Verifique, principalmente, se o python e o ffmpeg estão com “yes“. Seu relatório deve se parecer bastante como o da figura abaixo:

Figura 1 - Relatório do configure com as opções corretamente marcadas.

Caso o Python ou o ffmpeg não tenham aparecido com o “yes“, tente as soluções mostradas nas outras versões do Ubuntu que estão abaixo.

• Agora, digite:

 make 

• Depois que terminar, digite:

 sudo make install 

Será que funcionou? Vamos testar.

O OpenCV acompanha alguns programas exemplo, tanto em C quanto em Python, para você testar a instalação e aprender a usar a biblioteca.  Siga os passos abaixo.

• Se sua pasta do OpenCV estiver no desktop, digite:

 cd Desktop/opencv-1.1.0/samples/c 

• Agora compile os exemplos com:

 . build_all.sh 

• Agora rode um dos programas:

 ./delaunay 

Se surgiu uma nova janela e “coisas coloridas” estão aparecendo nela, a biblioteca foi instalada com sucesso.

Instalando o Ctypes OpenCV

Será bem simples. Descomprima o arquivo que você ja baixou no passo zero para o desktop e, pelo terminal, entre na pasta src. Após isso, digite:

 sudo python setup.py install 

Depois de instalado, veja os exemplos que você também baixou do Ctypes OpenCV no passo zero. Dê duplo clique em algum deles, por exemplo o delaunay.py. Ou então rode via terminal com o comando

 python delaunay.py 

.

Ubuntu 9.04:

Nessa versão do Ubuntu as coisas já não são mais tão simples. Apesar do processo de instalação ser o mesmo da versão 8.10, surgem alguns problemas no meio do caminho.

Primeiro problema: O Python não é reconhecido ao rodar o configure.

Se você rodar o configure, verá que no relatório que ele exibe aparece “no” para o Python. Se você verficar melhor a saída completa verá:

Figura 2 - Problema com o Python

Resolução: Provavelmente deve existir uma solução melhor, mas esta funcionou para mim. Baixei o source do Python 2.6.4, compilei e reinstalei via terminal, da seguinte forma:

./configure
make
sudo make install

Obs.: Se seu computador não possuir suporta a instruções SSE2, utilize para o primeiro comando: ./configure –diable-sse2

.

Segundo problema: O ffmpeg não é reconhecido ao rodar o configure. Resultado, não é possível manipular vídeos com a biblioteca.

Se você rodar o configure, verá que é exibido “no“ para o ffmpeg no relatório. Se você verficar melhor a saída completa verá:

Figura 3 - Problema com o ffmpeg

Resolução: Basta seguir os passos abaixo em seu terminal:

sudo mkdir /usr/include/ffmpeg
cd /usr/include/ffmpeg
sudo ln -s ../libavcodec/avcodec.h avcodec.h
sudo ln -s ../libavformat/avformat.h avformat.h
sudo ln -s ../libavformat/avio.h avio.h
sudo ln -s ../libavutil/avutil.h avutil.h
sudo ln -s ../libswscale/swscale.h swscale.h

Com os problemas resolvidos, e o passo zero realizado, siga o procedimento básico da instalação.

 ./configure --disable-sse2 --with-python --with-swig --with-ffmpeg --enable-swscale --enable-shared 

Antes dos próximos comandos, não esqueça de verificar no relatório do configure se o python e o ffmpeg estão com “yes“. Seu relatório deve se parecer bastante como o da Figura 1 desse post.

make
sudo make install

Ao terminar, teste e instale o Ctypes OpenCV para programar com Python. Para isso, siga as instruções dos tópicos “Será que funcionou? Vamos testar.” e “Instalando o Ctypes Opencv” que estão na instalação para o Ubuntu 8.10, acima neste mesmo post.

.

Ubuntu 9.10:

Nessa versão, existe mais um problema além dos já existentes para o Ubuntu 9.04.

Problema: Erro durante a compilação do código.

Resolução: Entre na pasta que você descomprimiu o OpenCV1.1, vá em cxcore, include e abra o arquivo cxmisc.h. Na linha 133, troque o

#elif

por:

#else

Para completar a instalação, basta seguir o texto acima sobre a instalação no Ubuntu 9.04.

.

.

Existem milhares de linguagens de programação e novas linguagens surgem frequentemente, trazendo novos paradigmas e estabelecendo novos padrões para programadores. Por isso, é importante conhecer as diferenças principais entre as linguagens e quando o uso de cada uma delas é mais adequado.

Para explorar as diferenças entre elas, serão discutidos os seguintes assuntos: o que são tipos de sistema estáticos ou dinâmicos, o que são linguagens fortemente ou fracamente tipadas e quais são os modos de execução de um programa (código executável compilado ou interpretação de código fonte).

Tipo estático ou dinâmico

As linguagens de programação podem ser classificadas de acordo com o tipo de sistema que elas usam. O tipo de sistema define como são os métodos e as variáveis da linguagem.

Em uma linguagem de tipo estático, o compilador deve conhecer o tipo de uma variável ou método antes da execução do programa (por isso, o tipo de uma variável normalmente é explicitamente declarado). Em uma linguagem de tipo dinâmico, o tipo de uma variável ou método é desconhecido até a execução do programa.

Exemplo prático de declaração de uma variável inteira com valor 10:

Java (Tipo estático):

int a = 10;

Ruby (Tipo dinâmico):

a = 10

Exemplos de linguagens de tipo estático: Java, Pascal, C, C# e C++.
Exemplos de linguagens de tipo dinâmico: Python, Javascript, Perl e Ruby.

Fortemente ou fracamente tipada

Um objeto é determinado pelo que ele pode fazer e não pelo seu tipo.

(tipo fraco)

Um conceito que muita gente confunde com tipo dinâmico ou estático é se uma linguagem é fortemente ou fracamente tipada.

A definição de fortemente ou fracamente tipada tem relação com quão profundamente um sistema verifica as operações que podem ser feitas sobre uma estrutura de dados.

Em linguagens fortemente tipadas, as operações são aplicadas para estruturas de dados bem definidas e cada operação define os tipos de dados que deve receber. Em linguagens fracamente tipadas, as operações são aplicadas para qualquer estrutura de dados; porém, essas operações podem falhar em tempo de execução caso a estrutura não suporte a operação.

Em uma linguagem fortemente tipada o sistema tem garantias sobre o comportamento do programa. Em uma linguagem fracamente tipada, essa garantia não existe porque uma estrutura de dados pode receber novas funcionalidades em tempo de execução.

Exemplo de uma função que realiza a soma de dois números, um inteiro e um ponto flutuante, e devolve um resultado em ponto flutuante:

Java (Fortemente tipada):

float soma(float a, int b) {
    return a + b;
}

Ruby (Fracamente tipada):

def soma (a, b)
  return a + b
end

Em Java, os tipos de dados que a operação soma suporta estão bem definidos (a é float e b é int) e o tipo de dado que a operação devolve também (resultado é float).

Em Ruby, a função soma pode receber quaisquer tipos de dados para a e b, e a operação será aplicada sobre esses tipos, devolvendo um resultado de tipo desconhecido:

• se a e b forem String, o resultado será uma String concatenada de a e b;
• se a e b forem inteiros, o resultado será um inteiro que representa a soma a+b;
• se a for um float e b um inteiro, o resultado será um float que representa a soma a+b.

Vale a pena observar que em linguagens fracamente tipadas, a possibilidade de erros em tempo de execução é muito maior. Por isso, é muito recomendável o uso de testes para verificar erros antes de colocar um sistema em produção.

Exemplos de linguagens fortemente tipadas: Java, Pascal, C e C++.
Exemplos de linguagens fracamente tipadas: Perl e Ruby.

Linguagens compiladas ou de script

Outro modo de classificar uma linguagem é se ela precisa de um passo de compilação antes de executar. Se ela precisa deste passo, ela é chamada de linguagem compilada. Senão, é chamada de linguagem de script.

Um compilador de uma linguagem compilada gera um código executável a partir do código fonte escrito pelo programador. O código executável não possui o conteúdo do código fonte, portanto programas de linguagens compiladas são melhores de distribuir quando o programador não quer que seu código seja público.

Uma linguagem de script normalmente não necessita de um passo específico de compilação para executar um programa. O código fonte escrito pelo programador pode ser executado diretamente por um intepretador. Esse interpretador lê trechos do código fonte em tempo de execução, converte em um formato que o computador consegue ler (compilação em tempo de execução) e realiza sua execução.

Linguagens de script costumam ter performance inferior a linguagens compiladas pois exigem mais passos para rodar um programa em tempo de execução. Porém, elas são muito mais produtivas, pois eliminam a necessidade de compilar o código fonte toda vez que uma alteração é feita.

Quem já mexeu no código fonte de uma aplicação web sabe como é muito melhor trabalhar com linguagem interpretada: você faz uma alteração no código, salva e pode verificá-la de imediato.

Quando usa uma linguagem compilada, como Java, você tem que compilar o código fonte (que pode levar um tempo considerável, dependendo do sistema), fazer o upload do código para o servidor web e só então verificar a alteração.

Exemplos de linguagens compiladas: Java, C, C++ e C#.
Exemplos de linguagens de script: PHP, Perl, Python e Ruby.

Considerações finais

Este artigo apresenta conceitos básicos sobre linguagens de programação que podem ser decisivos para a escolha de uma.

Para ambientes corporativos, em que uma das exigências principais é a estabilidade e performance do sistema, uma linguagem de tipo estático, fortemente tipada e compilada, como Java, é uma boa escolha.

Para uma aplicação que sofre muitas alterações e que exige alta performance (como por exemplo o Twitter), uma combinação de linguagens de script e compiladas é uma boa escolha. Por exemplo, combinar Ruby ou Python com C, ou usar uma linguagem que suporta tanto interpretação quanto compilação, como Scala.

Para cada situação existe um tipo de linguagem de programação mais adequada. O ideal é não ficar preso aos mesmos paradigmas e nunca achar que a linguagem de programação preferida é a melhor para resolver qualquer problema.

Deixo a dica de um amigo meu, Edmar Miyake, para ficar atualizado com os novos paradigmas de programação: estudar uma nova linguagem de programação por ano.

Após um pouco de pesquisa, consegui desenvolver um JavaScript bem símples que faz isso.

O primeiro passo, é setar a ordem desejada dos tabindex… é só colocar nos campos do formulário a ordem desejada, começando por 1… Isso faz com que o pressionar da tecla TAB siga a ordem desejada.

Após isso, basta usar esse JavaScript, passando o tabindex desejado como parâmetro… símples e fácil.

function focusPorTabIndex(index){
	//Varre todos os campos que foram setados com tabindex
	for(var i = 0; i < document.mainOutputForm.elements.length; i++){
		//verifica se o tabindex setado é o desejado
		if (document.mainOutputForm.elements[i].tabIndex == index){
			//se for, seta o foco para ele
			document.mainOutputForm.elements[i].focus();
		}
	}
}

OBS: mainOutputForm é o nome do seu formulário!