Cuidados na avaliação de modelos de simulação

Resumo

O uso de modelos de simulação é cada vez mais frequente na pesquisa. A maior capacidade, tanto de memória quanto de processamento, assim como a grande disponibilidade, acessibilidade e quantidade de dados coletados e armazenados, induz e, por vezes, torna obrigatória a utilização dessa ferramenta. Por outro lado, quando calibrados, os modelos de simulação permitem a realização, em segundos e a custo quase zero, de inúmeras estimativas de comportamento futuro, nos mais diferentes cenários, o que, de outra maneira, demandaria muito tempo e recurso para serem obtidas. Modelos de crescimento de plantas e modelos climáticos estão entre os mais disseminados e utilizados na pesquisa agropecuária. Algumas métricas têm sido utilizadas com frequência pelos usuários desses modelos para avaliar sua eficiência. Entretanto, nem sempre são empregadas as melhores técnicas. Neste trabalho, foram analisados os resultados de simulação de dados de temperatura do ar e do solo, por dois modelos diferentes: ETA-HADGEM e STICS, respectivamente. As métricas usualmente indicadas: EF (eficiência do modelo) e RMSE (raiz quadrada do erro médio), foram comparadas com resultados da análise de regressão e do teste de sinais para o viés. A introdução da correção do viés também foi aplicada e interpretada. Conclui-se que as métricas, se usadas de forma isolada e sem análise aprofundada das características das variáveis simuladas, podem resultar em uma interpretação equivocada da eficiência dos modelos.