-
1دورية أكاديمية
المصدر: Scientia et Technica; Vol. 28 No. 01 (2023): Enero-Marzo 2023; 38-47 ; Scientia et Technica; Vol. 28 Núm. 01 (2023): Enero-Marzo 2023; 38-47 ; 2344-7214 ; 0122-1701
مصطلحات موضوعية: Air Pollution, Little's Test, Mardia's Test, Missing Data, PM2.5, R2, RMSE, Simulation, Contaminación del aire, Test de little, Test de Mardia, Datos faltantes, Simulación, Poluição do ar, Teste de Little, Teste de Mardia, Dados ausentes, Simulação
الوصف: We propose and evaluate two imputation methods for missing data of fine particulate matter on air. We assume a 24-variate normal distribution, one per weekday. From this distribution properties, the imputation methods are based on the conditional distributions for missing hours, starting from hours with available records. We estimate the weekday variance-covariance matrix using two methods: maximum likelihood (denoted by ∑), and shrinkage (denoted ∑*). Afterwards, we verify the missing completely at random (MCAR) assumption using the Little’s test, and also de multivariate normality using the Mardia´s test. Finally, we evaluate the proposed methods through a simulation trial, generating suitable scenarios for this kind of problems. We use two evaluation criteria: the coefficient of determination (R2) and the square root of the mean square error (RMSE). We use a 2018 data set from Cali, Colombia, to illustrate how to use the proposed methods. We reach R2 values of around 0.70 and 0.49, and RMSE values of around 5.7 and 8.5, for the methods based on ∑ and ∑*, respectively. ; Se proponen y evalúan dos métodos de imputación para datos faltantes de partículas finas suspendidas en el aire, asumiendo que cada día de la semana se puede modelar mediante una distribución normal 24-variada. A partir de las propiedades de esta distribución, se conduce la imputación estimando las distribuciones condicionales para las horas faltantes a partir de las horas con información disponible. Para cada día se estima la matriz de varianzas y covarianzas por dos métodos: por máxima verosimilitud (denotada ∑) y por shrinkage (denotada ∑*). Luego, se prueba el supuesto de pérdida completamente al azar (MCAR) mediante el test de Little y se prueba el supuesto de normalidad multivariada con el test de Mardia. Finalmente, se evalúan los métodos propuestos vía simulación, generando escenarios posibles para este tipo de problemas, junto con dos criterios: coeficiente de determinación (R2) y raíz cuadrada del error cuadrático medio (RMSE). Los ...
وصف الملف: application/pdf
-
2دورية أكاديمية
المؤلفون: Luis Gustavo do Amaral Vinha, Jacob Arie Laros
المصدر: Estudos em Avaliação Educacional, Vol 29, Iss 70 (2021)
مصطلحات موضوعية: Tratamento de Dados Ausentes, Avaliação da Educação, Desempenho Acadêmico, Simulação., Special aspects of education, LC8-6691
الوصف: Os dados ausentes são comuns nas avaliações educacionais. Por isso, o uso de métodos adequados torna-se fundamental para reduzir o impacto da perda de informação. O objetivo deste estudo é comparar o desempenho de quatro métodos de tratamentos de dados ausentes (imputação pela média, listwise deletion, máxima verossimilhança e imputação múltipla), tendo como base o uso de modelos de regressão aplicados aos dados da avaliação educacional realizada no estado do Ceará. Foram utilizadas informações de 7.000 estudantes, simulando-se diversos cenários de acordo com o percentual e o tipo de ausência. A imputação pela média apresentou o pior desempenho em todos os cenários simulados e os demais métodos mostraram resultados semelhantes entre si. Verificou-se ainda que o uso de variáveis auxiliares na estimação por máxima verossimilhança e imputação múltipla reduziu o viés das estimativas de parâmetros importantes do modelo quando a ausência simulada não é ao acaso.
وصف الملف: electronic resource
-
3
المؤلفون: Adilson Pacheco Souza, Marlus Sabino
المصدر: Revista Brasileira de Engenharia Agrícola e Ambiental, Volume: 27, Issue: 2, Pages: 149-156, Published: 24 OCT 2022
Revista Brasileira de Engenharia Agrícola e Ambiental v.27 n.2 2023
Revista Brasileira de Engenharia Agrícola e Ambiental
Universidade Federal de Campina Grande (UFCG)
instacron:UFCGمصطلحات موضوعية: missing data, Environmental Engineering, automated weather stations, ERA5-Land, dados ausentes, estações meteorológicas automáticas, time series, séries temporais, Agricultural and Biological Sciences (miscellaneous), Agronomy and Crop Science
الوصف: This paper aimed to introduce the GapMET software, developed by the authors, and evaluate the accuracy of its six methods for gap-filling the main meteorological variables monitored by weather station in the state of Mato Grosso, Brazil, using reference time series from neighbour weather station and/or remote sensing products. The methods were tested on seven different databases, with 25 to 80% artificial gaps, and their accuracy was given by the number of gaps left unfilled, the bias, the RMSE, and Pearson’s correlation. The GapMET software showed good results in filling meteorological gaps regardless of the method applied. Methods that use only one neighbour weather station as a reference series showed better results because, in the state, the minimum distance for a weather station to have at least three neighbours as reference was 350 km, reducing the climatic similarity between them and consequently the accuracy when more than one reference series were needed. The use of satellite reference series reduced the probability of unfilled gaps; however, it showed higher bias and RMSE and lower correlations. RESUMO Este artigo objetiva introduzir o programa GapMET, desenvolvido pelos autores, e avaliar a precisão de seus seis métodos de preenchimento de dados nas principais variáveis meteorológicas monitoradas em estações do Estado de Mato Grosso, utilizando como séries de referência dados de estações vizinhas e/ou dos produtos de sensoriamento remoto. A precisão das estimativas foi aferida pela quantidade de falhas não preenchidas, viés, RMSE e correlação de Pearson, em agrupamentos de sete bases de dados com variações de 25 a 80% de falhas. O GapMET, independentemente do método, apresentou bons resultados no preenchimento de falhas meteorológicas. Métodos que utilizam apenas uma estação meteorológica vizinha como série referência apresentaram melhores resultados, visto que, no Estado, a distância mínima para uma estação meteorológica ter ao menos três estações vizinhas como referência foi de 350 km, reduzindo, assim, a semelhança climática entre elas e, consequentemente, a precisão do preenchimento quando mais de uma série de referência era necessária. O uso de séries obtidas por satélite reduziu a probabilidade de falhas não serem preenchidas, contudo, apresentou maiores erros de viés, RMSE e menores correlações.
وصف الملف: text/html
الوصول الحر: https://explore.openaire.eu/search/publication?articleId=doi_dedup___::786a0d6216865dd53f3ec25f19c65621Test
https://doi.org/10.1590/1807-1929/agriambi.v27n2p149-156Test -
4دورية أكاديمية
المؤلفون: Luis Gustavo do Amaral Vinha, Jacob Arie Laros
المصدر: Estudos em Avaliação Educacional, Vol 29, Iss 70, Pp 156-187 (2018)
مصطلحات موضوعية: Tratamento de Dados Ausentes, Avaliação da Educação, Desempenho Acadêmico, Simulação, Special aspects of education, LC8-6691
الوصف: Os dados ausentes são comuns nas avaliações educacionais. Por isso, o uso de métodos adequados torna-se fundamental para reduzir o impacto da perda de informação. O objetivo deste estudo é comparar o desempenho de quatro métodos de tratamentos de dados ausentes (imputação pela média, listwise deletion, máxima verossimilhança e imputação múltipla), tendo como base o uso de modelos de regressão aplicados aos dados da avaliação educacional realizada no estado do Ceará. Foram utilizadas informações de 7.000 estudantes, simulando-se diversos cenários de acordo com o percentual e o tipo de ausência. A imputação pela média apresentou o pior desempenho em todos os cenários simulados e os demais métodos mostraram resultados semelhantes entre si. Verificou-se ainda que o uso de variáveis auxiliares na estimação por máxima verossimilhança e imputação múltipla reduziu o viés das estimativas de parâmetros importantes do modelo quando a ausência simulada não é ao acaso.
وصف الملف: electronic resource
العلاقة: http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/3916Test; https://doaj.org/toc/0103-6831Test; https://doaj.org/toc/1984-932XTest
-
5دورية أكاديمية
المصدر: Scientia et Technica, ISSN 0122-1701, Vol. 28, Nº. 1, 2023 (Ejemplar dedicado a: Vol. 28 Núm. 1 (2023): Enero-Marzo 2023), pags. 38-47
مصطلحات موضوعية: Air Pollution, Little's Test, Mardia's Test, Missing Data, PM2, R2, RMSE, Simulation, Contaminación del aire, Test de little, Test de Mardia, Datos faltantes, Simulación, Poluição do ar, Teste de Little, Teste de Mardia, Dados ausentes, Simulação
الوقت: 5
الوصف: We propose and evaluate two imputation methods for missing data of fine particulate matter on air. We assume a 24-variate normal distribution, one per weekday. From this distribution properties, the imputation methods are based on the conditional distributions for missing hours, starting from hours with available records. We estimate the weekday variance-covariance matrix using two methods: maximum likelihood (denoted by ∑), and shrinkage (denoted ∑*). Afterwards, we verify the missing completely at random (MCAR) assumption using the Little’s test, and also de multivariate normality using the Mardia´s test. Finally, we evaluate the proposed methods through a simulation trial, generating suitable scenarios for this kind of problems. We use two evaluation criteria: the coefficient of determination (R2) and the square root of the mean square error (RMSE). We use a 2018 data set from Cali, Colombia, to illustrate how to use the proposed methods. We reach R2 values of around 0.70 and 0.49, and RMSE values of around 5.7 and 8.5, for the methods based on ∑ and ∑*, respectively. ; Propomos e avaliamos dois métodos de imputação de dados perdidos de partículas finas no ar. Assumimos uma distribuição normal de 24 variáveis, uma por dia da semana. A partir dessas propriedades de distribuição, os métodos de imputação baseiam-se nas distribuições condicionais de horas faltantes, a partir das horas com registros disponíveis. Estimamos a matriz de variância-covariância dos dias da semana usando dois métodos: máxima verossimilhança (denotada por ∑) e redução (denotada por ∑ *). Posteriormente, verificamos a suposição de falta completamente ao acaso (MCAR) usando o teste de Little e também a normalidade multivariada usando o teste de Mardia. Por fim, avaliamos os métodos propostos por meio de um ensaio de simulação, gerando cenários adequados para este tipo de problemas. Usamos dois critérios de avaliação: o coeficiente de determinação (R2) e a raiz quadrada do erro quadrático médio (RMSE). Usamos um conjunto de dados de 2018 de ...
وصف الملف: application/pdf
العلاقة: https://dialnet.unirioja.es/servlet/oaiart?codigo=8895231Test; (Revista) ISSN 0122-1701
-
6دورية أكاديمية
المصدر: Engenharia Agrícola. February 2015 35(1)
مصطلحات موضوعية: dados ausentes, evapotranspiração de referência, penman-monteith
الوصف: A equação para determinar a evapotranspiração de referência (ETo), método de Penman-Monteith, parametrizada pela FAO (PM-FAO56), requer dados que, muitas vezes, não estão disponíveis na maioria das estações climatológicas. Para superar o problema da disponibilidade de dados climáticos, o boletim 56 da FAO propõe vários procedimentos para estimar a ETo na ausência dos dados de radiação, umidade relativa e velocidade do vento, e posterior substituição. Baseado nisto, o objetivo do presente estudo foi comparar a ETo estimada na ausência de dados de velocidade do vento ou da umidade relativa ou radiação solar com a ETo estimada, com os dados completos para várias localidades de Minas Gerais. A comparação foi realizada utilizando o coeficiente angular da regressão, o coeficiente de determinação, o índice de concordância de Willmott e os erros associados a cada metodologia. Verificou-se que, na ausência de dados de umidade relativa e velocidade do vento, o método de Penman-Monteith apresenta pequenos erros de estimativa. Na ausência dos dados de radiação, os erros são maiores em relação às outras variáveis. Na disponibilidade apenas das temperaturas máximas e mínimas, o método de PM-FAO56 apresenta desempenho superior ao método de Hargreaves-Samani.
وصف الملف: text/html
-
7دورية أكاديمية
المصدر: Pesquisa Agropecuária Brasileira. September 2014 49(9)
مصطلحات موضوعية: dados ausentes, decomposição por valores singulares, ensaios multiambiente, experimentos desbalanceados, interação genótipo x ambiente, melhoramento de plantas.
الوصف: O objetivo deste trabalho foi propor um novo algoritmo de imputação múltipla livre de distribuição, por meio de modificações no método de imputação simples recentemente desenvolvido por Yan para contornar o problema de desbalanceamento de experimentos. O método utiliza a decomposição por valores singulares de uma matriz e foi testado por meio de simulações baseadas em duas matrizes de dados reais completos, provenientes de ensaios com eucalipto e cana-de-açúcar, com retiradas aleatórias de valores em diferentes percentagens. A qualidade das imputações foi avaliada por uma medida de acurácia geral que combina a variância entre imputações e o viés quadrático médio delas em relação aos valores retirados. A melhor alternativa para imputação múltipla é um modelo multiplicativo que inclui pesos próximos a 1 para os autovalores calculados com a decomposição. A metodologia proposta não depende de pressuposições distribucionais ou estruturais e não tem restrições quanto ao padrão ou ao mecanismo de ausência dos dados.
وصف الملف: text/html
-
8دورية أكاديمية
المصدر: Engenharia Agrícola, Vol 35, Iss 1, Pp 39-50 (2015)
مصطلحات موضوعية: dados ausentes, evapotranspiração de referência, penman-monteith, Agriculture (General), S1-972
الوصف: A equação para determinar a evapotranspiração de referência (ETo), método de Penman-Monteith, parametrizada pela FAO (PM-FAO56), requer dados que, muitas vezes, não estão disponíveis na maioria das estações climatológicas. Para superar o problema da disponibilidade de dados climáticos, o boletim 56 da FAO propõe vários procedimentos para estimar a ETo na ausência dos dados de radiação, umidade relativa e velocidade do vento, e posterior substituição. Baseado nisto, o objetivo do presente estudo foi comparar a ETo estimada na ausência de dados de velocidade do vento ou da umidade relativa ou radiação solar com a ETo estimada, com os dados completos para várias localidades de Minas Gerais. A comparação foi realizada utilizando o coeficiente angular da regressão, o coeficiente de determinação, o índice de concordância de Willmott e os erros associados a cada metodologia. Verificou-se que, na ausência de dados de umidade relativa e velocidade do vento, o método de Penman-Monteith apresenta pequenos erros de estimativa. Na ausência dos dados de radiação, os erros são maiores em relação às outras variáveis. Na disponibilidade apenas das temperaturas máximas e mínimas, o método de PM-FAO56 apresenta desempenho superior ao método de Hargreaves-Samani.
وصف الملف: electronic resource
العلاقة: http://www.scielo.br/pdf/eagri/v35n1/1809-4430-eagri-35-1-0039.pdfTest; http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-69162015000100039&tlng=ptTest; https://doaj.org/toc/0100-6916Test
-
9دورية أكاديمية
المصدر: Pesquisa Agropecuária Brasileira, Vol 49, Iss 9, Pp 683-691 (2014)
مصطلحات موضوعية: dados ausentes, decomposição por valores singulares, ensaios multiambiente, experimentos desbalanceados, interação genótipo x ambiente, melhoramento de plantas., Agriculture (General), S1-972
الوصف: O objetivo deste trabalho foi propor um novo algoritmo de imputação múltipla livre de distribuição, por meio de modificações no método de imputação simples recentemente desenvolvido por Yan para contornar o problema de desbalanceamento de experimentos. O método utiliza a decomposição por valores singulares de uma matriz e foi testado por meio de simulações baseadas em duas matrizes de dados reais completos, provenientes de ensaios com eucalipto e cana-de-açúcar, com retiradas aleatórias de valores em diferentes percentagens. A qualidade das imputações foi avaliada por uma medida de acurácia geral que combina a variância entre imputações e o viés quadrático médio delas em relação aos valores retirados. A melhor alternativa para imputação múltipla é um modelo multiplicativo que inclui pesos próximos a 1 para os autovalores calculados com a decomposição. A metodologia proposta não depende de pressuposições distribucionais ou estruturais e não tem restrições quanto ao padrão ou ao mecanismo de ausência dos dados.
وصف الملف: electronic resource
العلاقة: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-204X2014000900683&lng=en&tlng=enTest; https://doaj.org/toc/1678-3921Test
-
10دورية أكاديمية
المصدر: Brazilian Journal of Climatology; Vol. 30 (2022); 691 - 714 ; Revista Brasileira de Climatologia; v. 30 (2022); 691 - 714 ; Journal Brésilien de Climatologie ; Vol. 30 (2022); 691 - 714 ; Revista Brasileña de Climatología; Vol. 30 (2022); 691 - 714 ; 2237-8642 ; 10.55761/abclima.v30i18
مصطلحات موضوعية: Imputação de dados ausentes, Regressão linear múltipla, Redes neurais artificiais, Hidrologia
الوصف: Missing data in rainfall time series is one of the main problems in hydrological studies. In this regard, gap-filling techniques are an important tool for reconstructing rainfall data sets. This paper aims to compare different gap-filling methods for monthly rainfall time series. As a case study, time series ranging from 1974 to 2004 from meteorological stations of the Cariri region, Ceará, Brazil, were considered. For the imputation of missing values, methods such as the arithmetic average (AA), inverse distance weighting (IDW), regional weighting (RW), multiple linear regression (MLR), and artificial neural networks (ANN) were applied. Simulation of artificially generated missing values was performed using concepts of missing data mechanisms for different missing values rates, namely, 10% and 40%. The performance of the imputation methods was evaluated by error metrics such as the root mean squared error (RMSE) and mean absolute error (MAE). The seasonality of rainfall patterns was also considered. Numerically, the ANN method achieved the lowest RMSE and MAE averages, followed by the MLR, RW, AA, and IDW methods. However, the average values obtained by all methods were similar. The methods evaluated were able to estimate the missing values in the studied time series with good accuracy. ; Dados ausentes em séries temporais de precipitação são um dos principais problemas em estudos hidrológicos. Neste sentido, as técnicas de preenchimento de falhas constituem uma ferramenta importante para a reconstrução de conjuntos de dados pluviométricos. O objetivo do presente trabalho foi comparar diferentes métodos de preenchimento de falhas em séries mensais de precipitação. Como caso de estudo, foram consideradas séries temporais de 1974 a 2004 de estações pluviométricas localizadas na região do Cariri, Ceará, Brasil. Para a imputação dos valores ausentes, foram aplicados métodos como média aritmética (MA), inverso da potência da distância (IPD), ponderação regional (PR), regressão linear múltipla (RLM) e redes neurais ...
وصف الملف: application/pdf
العلاقة: https://ojs.ufgd.edu.br/index.php/rbclima/article/view/15243/8670Test; https://ojs.ufgd.edu.br/index.php/rbclima/article/view/15243Test
