“
Inclusão é um direito daqueles que precisam, e incluir é um dever
de todos.
”
Letícia Butterfield
Transcritor do alfabeto em Libras em tempo real usando técnicas de
Machine Learning e visão computacional.
Projeto feito para o Hackaton AI4GOOD @ Harvard & MIT
(Brazil Conference)
Queremos que a Língua Brasileira de Sinais seja acessível a todos. Para alcançar esse objetivo, estamos desenvolvendo um sistema de reconhecimento de sinais que auxiliará no aprendizado da linguagem. Notamos uma predominância de recursos direcionados à Língua de Sinais Americana (ASL), enquanto há uma carência de estudos e pesquisas voltados para a Libras.
Possibilita o reconhecimento de letras do alfabeto em Libras por meio de gestos. As expressões faciais e sinais baseados em movimento ainda não são reconhecidos, mas estão em fase de desenvolvimento.
A interface do nosso sistema é intuitiva e fácil de usar. Incluímos nela reconhecimento através da Webcam, controles de velocidade e mudança no algoritmo do modelo de reconhecimento, para que você possa treinar os sinais do alfabeto no seu ritmo e como preferir!
Para a realização do projeto, diversas tecnologias trabalharam na construção do sistema de reconhecimento de sinais, interface e a própria apresentação! Entre elas, destacam-se:
Utilizado para a construção da interface do sistema de reconhecimento, o ReactJS é uma biblioteca JavaScript de código aberto para criar interfaces de usuário. É mantido pelo Facebook, Instagram e uma comunidade de desenvolvedores individuais e outras empresas.
Utilizado para a construção da página de apresentação, o HTML5 é uma linguagem de marcação utilizada na construção da estrutura de páginas na Web. É a quinta versão da linguagem HTML.
Aqui é onde a mágica acontece! Utilizado para fazer o reconhecimento de imagens e gestos no sistema, Python é a linguagem que escolhemos para implementar o reconhecimento em tempo real. Foi utilizado com auxílio das bibliotecas OpenCV, Tensorflow, Flask, SciKit Learn, CVZone, dentre outras...
Local onde colaboramos com o projeto, o GitHub é uma plataforma de hospedagem de código-fonte com controle de versão usando o Git. Ele permite que programadores, utilitários ou qualquer usuário cadastrado na plataforma contribuam em projetos privados e/ou Open Source de qualquer lugar do mundo.
Utilizado para a construção da interface do sistema de reconhecimento, o Tailwind CSS é um framework CSS de código aberto que permite a criação de interfaces personalizadas e responsivas.
Local onde enviamos nossas páginas para serem hospedadas, o Vercel é uma plataforma de computação em nuvem para projetos estáticos e JAMstack.