Bolsa de PD em Visão Computacional

Post-Doctoral Fellowship in Computer Vision

• Resumo Summary

  A descrição de cenas é um processo que visa associar uma ou mais frases textuais a uma imagem. No que diz respeito à infraestrutura urbana, esta é uma técnica que permite a descrição de cenários urbanos, como a caracterização das calçadas em termos de tamanho, a identificação dos objetos e a relação posicional que eles têm entre si, entre outros. Nos últimos anos, avanços importantes foram alcançados nessa tarefa por meio do uso de técnicas de redes neurais profundas. Esses avanços são facilitados pela maior disponibilidade de GPUs e grandes conjuntos de dados.

  Além disso, os avanços alcançados pelas redes neurais foram obtidos principalmente em modalidades individuais, como visão, linguagem ou som. Em muitos casos, problemas do mundo real possuem componentes que estão embutidos em mais de uma modalidade – como podem ser os cenários de Informática Urbana.

  Nesse sentido, este projeto visa desenvolver métodos computacionais para melhorar os processos de descrição de cenas urbanas. Como objeto de estudo, pretendemos explorar imagens de sensoriamento remoto e de nível de rua. O projeto envolverá o uso de técnicas de visão computacional associadas ao processamento de linguagem natural. A ideia principal é utilizar o framework da linguagem textual para melhorar as descrições geradas.

  A vaga está aberta a brasileiros e estrangeiros. O selecionado receberá Bolsa de Pós-Doutorado da FAPESP no valor de R$ 8.479,20 mensais e Reserva Técnica equivalente a 10% do valor anual da bolsa para atender a despesas imprevistas e diretamente relacionadas à atividade de pesquisa.

  Scene description is a process that aims to associate one or more textual sentences to an image. Concerning urban infrastructure, this is a technique that allows the description of urban scenarios, such as the characterization of sidewalks in terms of size, the identification of objects and the positional relationship they have with each other, among others. In recent years important advances have been achieved in this task through the use of deep neural network techniques. These advances are facilitated by the greater availability of GPUs and large data sets.

  Furthermore, advances achieved by neural networks have been mainly obtained in individual modalities such as vision, language or sound. In many cases, real-world problems have components that are embedded in more than one modality – as can be the scenarios of Urban Informatics.

  In this sense, this project aims at developing computational methods to improve the processes of description of urban scenes. As object of study, we intend to explore remote-sensing and street-level images. The project will involve the use of computer vision techniques associated with natural language processing. The main idea is to use the textual language framework to improve the generated descriptions.

  This opportunity is open to candidates of any nationality. The selected candidate will receive a Post-Doctoral fellowship from the São Paulo Research Foundation (FAPESP) in the amount of R$ 8,479.20 monthly and a research contingency fund, equivalent to 10% of the annual value of the fellowship which should be spent in items directly related to the research activity.