Bolsa de PD em Avaliação de Modelos de Linguagem de Grande Escala

Post-Doctoral Fellowship in Evaluation of Large Language Models

• Resumo Summary

  O escopo do trabalho é focado no desenvolvimento de uma metodologia de avaliação para múltiplos Modelos de Linguagem de Grande Escala (LLMs) que foram ajustados para subdomínios específicos dentro do campo da extensão agrícola.

  O candidato selecionado ingressará no Centro de Ciência para o Desenvolvimento em Agricultura Digital – CCD-AD/SemeAr, um CCD apoiado pela FAPESP na Embrapa Agricultura Digital e coordenado pela Professora Silvia Maria Fonseca Silveira Massruhá. O bolsista será supervisionado pelo pesquisador principal do CCD-AD/SemeAr, Professor Thiago Santos.

  O desempenho esperado para o bolsista inclui: o desenvolvimento de benchmarks específicos para uso nas avaliações, em estreita colaboração com especialistas de domínio; a seleção criteriosa de métricas de avaliação, cobrindo aspectos tanto objetivos quanto subjetivos, em conformidade com os domínios em foco; a implementação das métricas selecionadas, em linguagem de programação Python, dentro do pipeline de desenvolvimento de LLM; planejamento experimental, conduzido em conjunto com os estatísticos alocados ao projeto; a análise e recomendação formal dos modelos mais adequados para cada subdomínio; a preparação de artigos científicos sobre o trabalho realizado.

  Candidatos interessados devem enviar seu Currículo Lattes e/ou ORCID para maria-fernanda.moura@embrapa.br e sonia.ternes@embrapa.br, com cópia para thiago.santos@embrapa.br, com “POSTDOC” indicado no início do assunto. Recomenda-se incluir uma carta de apresentação detalhando as qualificações e experiência relevante do candidato.

  A vaga está aberta a brasileiros e estrangeiros. O selecionado receberá Bolsa de Pós-Doutorado da FAPESP no valor de R$ 12.570,00 mensais e Reserva Técnica equivalente a 10% do valor anual da bolsa para atender a despesas imprevistas e diretamente relacionadas à atividade de pesquisa.

  The scope of work is to focus on the development of an evaluation methodology for multiple Large Language Models (LLMs) that have been fine-tuned for specific subdomains within the field of agricultural extension.

  The selected candidate will join the Science Center for Development in Digital Agriculture – SCD-AD/SemeAr, one of the SCDs in São Paulo state (Brazil) supported by FAPESP, the São Paulo Research Foundation. CCD-AD/SemeAr is based in Campinas at EMBRAPA Digital Agriculture, one of the decentralized units of the Brazilian Agricultural Research Corporation (EMBRAPA), and is coordinated by Professor Silvia Maria Fonseca Silveira Massruhá. The postdoc will be supervised by Professor Thiago Santos, co-PI at SCD-AD/SemeAr.

  The expected deliverables encompass: the development of specific benchmarks for use in the evaluations, in close collaboration with domain specialists; the judicious selection of evaluation metrics, covering both objective and subjective aspects, in conformity with the domains in focus; the implementation of the selected metrics, in Python programming language, within the LLM development pipeline; experimental planning, conducted in conjunction with the statisticians allocated to the project; the analysis and formal recommendation of the most suitable models for each subdomain; the preparation of scientific papers about the work carried out.

  Interested candidates should send their Lattes Curriculum and/or ORCID to maria-fernanda.moura@embrapa.br and sonia.ternes@embrapa.br, copy to thiago.santos@embrapa.br, with “POSTDOC” indicated at the beginning of the subject line. It is recommended to include a cover letter detailing the candidate's qualifications and relevant experience.

  This opportunity is open to candidates of any nationality. The selected candidate will receive a FAPESP Post-Doctoral fellowship in the amount of R$ 12,570.00 monthly and a research contingency fund, equivalent to 10% of the annual value of the fellowship which should be spent on items directly related to the research activity.