Care in the evaluation of simulation models
Keywords:
STICS, ETA-HADGEM, bias, regression models, sign testAbstract
The use of simulation models is increasingly frequent in research. The greater capacity, both in memory and processing, as well as the great availability, accessibility and amount of data collected and stored, induces and sometimes makes the use of this tool mandatory. On the other hand, when calibrated, the simulation models allow the realization, in seconds and at almost zero cost, of countless estimates of future behavior, in the most different scenarios, which, otherwise, would require a lot of time and resources to be obtained. Crop growth models and climate models are among the most widespread and used in agricultural research. Some metrics have been frequently used by users of these models to assess their efficiency. However, the best techniques are not always employed. In this work, the simulation results of air and soil temperature data were analyzed by two different models: ETA-HADGEM and STICS, respectively. The metrics usually indicated: EF (modelling efficiency) and RMSE (root mean square error), were compared with results of regression analysis and sign test for bias. The introduction of bias correction was also applied and interpreted. It is concluded that the metrics, if used in isolation and without in-depth analysis of the characteristics of the simulated variables, may result in a misinterpretation of the efficiency of the models.
References
AFFIN, O. A. D.; BARCELLOS, J. M.; LUIZ, A. J. B.; SILVA, F. A. M.; CASTRO, L. H. R.; ZOBY, J. L. F. Uso de modelos matemáticos de simulação para estabelecimento de prioridades de pesquisa. Planaltina: EMBRAPA-CPAC, 1992. 43 p. (Embrapa CPAC. Documentos, 49).
ANDRADE, C. DE L. T. [et al.] Modelagem do crescimento de culturas: aplicações à cultura do milho. Sete Lagoas: Embrapa Milho e Sorgo, 2009. 65 p. (Embrapa Milho e Sorgo. Documentos, 91).
BRISSON, N.; MARY, B.; RIPOCHE, D.; JEUFFROY, M.H.; RUGET, F.; NICOULLAUD, B.; GATE, P.; DEVIENNE-BARRET, F.; ANTONIOLETTI, R.; DURR, C.; RICHARD, G.; BEAUDOIN, N.; RECOUS, S.; TAYOT, X.; PLENET, D.; CELLIER, P.; MACHET, J.M.; MEYNARD, J.M.; DELECOLLE, R. STICS: a generic model for the simulation of crops and their water and nitrogen balances: I. Theory and parameterization applied to wheat and corn. Agronomie, v. 18, p. 311-346, 1998.
BRISSON, N.; RUGET, F.; GATE, P.; LORGEAU, J.; NICOULLAUD, B.; TAYOT, X.; PLENET, D.; JEUFFROY, M. H.; BOUTHIER, A.; RIPOCHE, D.; MARY, B.; JUSTES, E. STICS: a generic model for simulating crops and their water and nitrogen balances: II. Model validation for wheat and maize. Agronomie, v. 22, p. 69-92, 2002.
CHOU, S. C.; LYRA, A.; MOURÃO, C.; DERECZYNSK, C.; PILOTTO, I; GOMES, J.; BUSTAMANTE, J.; TAVARES, P.; SILVA, A.; RODRIGUES, D.; CAMPOS, D.; CHAGAS, D.; SUEIRO, G.; SIQUEIRA, G.; MARENGO, J. Assessment of climate change over South America under RCP 4.5 and 8.5 downscaling scenarios. American Journal of Climate Change, v. 3, p. 512-527, 2014.
DESCARTES, R. Discurso do método. Martins Fontes, São Paulo, 2001. 102 p.
LUIZ, A. J. B.; MAIA, A. de H. N. Consistência entre dados originais, interpolações globais e projeções do modelo climático regional EtaHadGEM2-ES para a precipitação nas bacias dos rios Paracatu e São Marcos. In: SEMINÁRIO DA REDE AGROHIDRO, 4., 2016, Brasília, DF. Água e agricultura: incertezas e desafios para a sustentabilidade frente às mudanças do clima e do uso da terra: Anais. Brasília, DF: Embrapa, 2016. p. 152-159.
MACHADO FILHO, H.; MORAES, C.; BENNATI, P.; RODRIGUES, R. DE A.; GUILLES, M.; ROCHA, P.; LIMA, A.; VASCONCELOS, I. Mudança do clima e os impactos na agricultura familiar no Norte e Nordeste do Brasil. IPC-IG Working Paper, n.141, 2016. 68p. Disponível em: https://ipcig.org/pub/port/Mudanca_no_clima_e_os_impactos_na_agricultura_familiar.pdf
.
MAIA, A. de H. N.; PAZIANOTTO, R. A. A.; COELHO, C. A. dos S. Avaliação da influência do ENOS sobre início da estação chuvosa via modelos semiparamétricos de sobrevivência. In: REUNIÃO ANUAL DA REGIÃO BRASILEIRA DA SOCIEDADE INTERNACIONAL DE BIOMETRIA, 56.; SIMPÓSIO DE ESTATÍSTICA APLICADA À EXPERIMENTAÇÃO AGRONÔMICA, 14., 2011, Maringá. Anais... Maringá: Universidade Estadual de Maringá; Embrapa Pecuária Sudeste, 2011. 5 p.
MINITTI, A. F. Relatório de avaliação dos impactos de tecnologias geradas pela Embrapa. Campinas: Embrapa Informática Agropecuária, 2020. 57 p. (Embrapa Informática Agropecuária. Documentos, 170)
NASH, J. E.; SUTCLIFFE J. V. River flow forecasting through conceptual models: Part I - A discussion of principles. Journal of Hydrology, v. 10, n. 3, p. 282-290, 1970.
SAS Institute Inc. SAS/STAT® 9.4 Users Guide. Cary, NC: SAS Institute Inc. 2013.
SILVA, F. A. M. DA; EVANGELISTA, B. A.; MALAQUIAS, J. V. Normal climatológica de 1974 a 2003 da Estação Principal da Embrapa Cerrados. Planaltina, DF: Embrapa Cerrados, 2014. 98 p. (Embrapa Cerrados. Documentos, 321).
VICENTE, P. O uso de simulação como metodologia de pesquisa em ciências sociais. Cadernos EBAPE.BR, v. 3, n. 1, p. 1-9, 2005. Disponível em: https://shorturl.at/bclMX.
Downloads
Published
How to Cite
Issue
Section
License
Proposta de Política para Periódicos de Acesso Livre
Autores que publicam nesta revista concordam com os seguintes termos:
- Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
- Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
- Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).
