Configuração e avaliação de um GPT personalizado para anotação semântica abstrata do português europeu segundo o modelo LMR

Resumo

Este artigo apresenta a configuração e a avaliação de um GPT personalizado para a anotação semântica abstrata de textos em português europeu segundo o modelo Lexicalized Meaning Representation (LMR). O LMR constitui uma adaptação do Abstract Meaning Representation (AMR), concebida para acomodar propriedades da gramática do português e preservar uma ligação mais direta entre o texto e a respetiva representação semântica. O GPT foi configurado através de uma instrução específica e de uma base de conhecimento fechada, composta pelas diretivas do LMR e por um conjunto de frases previamente anotadas. O trabalho introduz ainda relações e operadores destinados à representação de determinadas configurações de discurso reportado e de citação. Para a avaliação, foi constituído um corpus de 42 notícias de acesso aberto sobre inteligência artificial, a partir do qual foram selecionadas cinco frases, anotadas independentemente pelos dois autores e posteriormente submetidas a adjudicação por consenso para formar o conjunto de referência. As experiências comparam o desempenho dos modelos GPT-4o e GPT-5-Thinking em quatro condições: sem exemplos no prompt (zero-shot ao nível do prompt), few-shot out-of-domain, many-shot out-of-domain e few-shot in-domain. A avaliação através da métrica Smatch, complementada por uma análise qualitativa dos desvios, mostra que, no conjunto analisado, o GPT-5-Thinking produz anotações mais próximas da referência, com um F-score médio de 0,62, comparativamente a 0,51 no GPT-4o. O efeito dos exemplos não se revelou uniforme nem cumulativo, variando em função do modelo e da condição experimental. Os resultados confirmam o potencial destes sistemas como ferramentas de apoio à anotação semântica, embora continue a ser necessária supervisão humana.