Skip to main content

Música colorida com Detecção de Vídeo do Scratch

Música colorida com Detecção de Vídeo do Scratch
replace this text

Post escrito pelo convidado Nathan Rabinovitch, residente tinkering da Rede Brasileira de Aprendizagem Criativa, pesquisador e parceiro do LSITec da faculdade de engenharia elétrica da POLI-USP e professor de Ensino Fundamental e Médio.  Desde pequeno, Nathan pesquisa e explora as relações e as complexidades que emergem das diferentes combinações entre materiais, tecnologias e narrativas.

Gostaria de agradecer duas amigas que me ajudaram a fazer este post. Lina Lopes, pelas fotos, GIFs e vídeos e Daniela Lyra, pela tradução deste material para o inglês.

 

 


 

Desenvolvi esta atividade por conta de um convite do Tinkering Studio para participar da Conferência Scratch de 2021. Fiquei muito animado com a possibilidade de explorar novas formas de interagir com o sensor de vídeo do Scratch. Depois de alguns experimentos iniciais, percebi que poderia utilizar as cores captadas pela câmera para disparar comandos dentro do código e aproveitei para fazer alguns testes com música. Foi muito legal, mas não era exatamente o que eu estava esperando, ainda faltava alguma coisa. Nesse momento, eu lembrei de uma obra interativa que visitei no museu de ciências Exploratorium. A obra Hole Saw Rhythm era exatamente o que eu estava procurando! Eu queria uma forma de fazer música que fosse rápida, lúdica e visual.

Depois de encontrar a inspiração, levei alguns dias para organizar e lapidar a atividade dentro do formato que vocês podem encontrar logo a seguir. Este projeto descreve a minha exploração e a forma que eu gostei de brincar, mas sugiro que experimentem diferentes possibilidades, materiais e parâmetros. Pense neste post como um ponto de partida para a sua própria espiral criativa.


 

Materiais

replace this text
  • Computador

  • Webcam

  • Papelão

  • Tesoura

  • Tinta

  • Pincel

     

 

Para criar as notas musicais físicas, utilizamos papelão e tinta. Neste caso foram criadas formas geométricas simples como quadrados, triângulos e círculos. É possível experimentar outras formas, como contornos de bichos, letras ou qualquer outra ideia legal. 


 

Programação

 

replace this text

Este projeto utiliza a extensão de detecção de vídeo do Scratch.

 

replace this text

Utilizaremos como personagem uma barra vertical. Existem muitas outras possibilidades que valem a pena ser exploradas, mas utilizaremos a barra como ponto de partida. 

O código

Neste projeto, utilizaremos apenas dois grupos de blocos.

replace this text

O primeiro ajusta a transparência de vídeo para zero e cria um loop infinito que faz o ator deslizar pela tela, deslizando da esquerda para a direita em dois segundos, e em seguida, retornar instantaneamente para a posição inicial. Se você quiser que a música repita mais rápido, é só diminuir o tempo em que a barra desliza. Se quiser mais devagar, é só aumentar o tempo em que a barra desliza.

replace this text

O segundo conjunto é responsável por tocar uma nota musical toda vez que o ator passa por cima de uma determinada cor. O bloco se utiliza a condicional por cores para disparar o som.

 

As notas musicais podem ser encontradas dentro da categoria sons.

O bloco espere ajusta a velocidade de repetição de cada nota. Experimente alterar seu valor para números entre 0 e 1.

 

Começar de um remix

Caso você queira começar de um remix, pode partir deste projeto já configurado. Não esqueça de afinar as cores das notas.


 

Organização do espaço

 

Para o projeto funcionar bem, precisamos pensar em função das cores. Como o bloco se faz o teste com base nas cores dos objetos que são capturados pela câmera, é importante ter uma boa iluminação. Quanto mais homogênea melhor. Se a atividade acontecer perto de uma janela, as cores capturadas podem variar ao longo do dia, uma vez que a iluminação do Sol vai variar. Por isso, é importante levar em conta sua fonte de luz ao longo da atividade.

Uma sugestão para garantir uma boa iluminação é utilizar duas luminárias, uma de cada lado da área de trabalho. 


 

Primeira nota musical

 

replace this text

Passo 1: Aponte a câmera do computador para a sua área de trabalho. Caso seja um notebook, você pode abaixar a tela ou inclinar o computador com algum suporte. Uma vez que a câmera estiver posicionada, quanto menos ela se mexer, melhor. Isso vale tanto para a afinação como para o momento de tocar a música.

replace this text

Passo 2: Para afinar a primeira nota musical, coloque o objeto colorido na área de trabalho de forma que a câmera consiga capturar sua cor. Em seguida, utilize a ferramenta conta gotas para escolher a cor que irá disparar o som.

Em alguns casos, pequenas variações de luz na área de trabalho podem causar interferências na hora de tocar uma nota. Para amenizar as interferências, utilizamos o bloco ou com as cores selecionadas em dois pontos diferentes da mesa.
 

replace this text

Passo 3: Clique na bandeira verde para o personagem começar a se movimentar. Quando a barra passar por cima da cor programada você irá escutar a nota musical selecionada no bloco toque o som.

Observação: Caso alguma nota não funcione, repita o processo da afinação, tomando o cuidado de variar a luz e a cor o mínimo possível. Lembre que nesta atividade a câmara pensa através de cores.

 

Adicionando mais notas musicais

Para adicionar mais notas musicais, duplique o conjunto de blocos que dispara a primeira nota,

depois afine a nova cor desejada e por fim altere a nota que será tocada.


 

Indo além

 

  • É possível explorar outros materiais e formas para servirem de notas musicais. Aqui vão algumas sugestões diferentes:
replace this text

Tampinha de garrafa

replace this text

Plantas e vegetais

replace this text

Outros formatos de papelão

 

  • É possível experimentar outros instrumentos dentro da categoria som. 

 

  • O Scratch conta com uma extensão de música que também vale a pena ser explorada.

 

  • É possível adicionar uma foto ou uma pintura como palco e depois escolher algumas cores que se repetem para criar novas músicas.

 

Autômatos e música

Conheça o trabalho do artista brasileiro Agnaldo Pinho. Eu adoro a forma que ele combina autômatos com som e outras formas interessantes de interação com suas obras.
 

 

Referências Adicionais