农业微气象观测数据清洗和质控技术研究

doi:10.14088/j.cnki.issn0439-8114.2020.14.006

湖北农业科学 ›› 2020, Vol. 59 ›› Issue (14): 37-40.doi: 10.14088/j.cnki.issn0439-8114.2020.14.006

农业微气象观测数据清洗和质控技术研究

周强

山东省气象服务中心,济南 250031

收稿日期:2020-05-12 出版日期:2020-07-25 发布日期:2020-09-14
作者简介:周强（1987-）,男,山东潍坊人,工程师,硕士,主要从事应用气象和行业服务,（电话）15666976635（电子信箱）Mars-zq@163.com。

Study on cleaning and quality control technology of agricultural micro-meteorological observation data

ZHOU Qiang

Shandong Meteorological Service Center, Jinan 250031,China

Received:2020-05-12 Online:2020-07-25 Published:2020-09-14

摘要/Abstract

摘要： 基于农田特有气象观测设备和环境属性,建立农业气象数据清洗标准和质控方法,以提升农业气象观测数据质量。针对数据属性异常和重复记录情形,选取Bohn数据清洗模型的空缺值清洗方法和噪声数据清洗方法。通过农业微气象观测站点空间内观测要素历史数据统计,获取清洁数据指标,应用于数据质量动态阈值生成方法,建立农业微气象数据质量控制模型。清洗质控后的数据评估指标表明,经过数据清洗和质控模型后数据准确率和重复性均有明显改善。数据清洗质控方法有助于准确获取农业气象灾害监测信息,为农业的防灾减灾提供有效决策支撑。

关键词: 农业微气象, 数据质控, Bohn数据清洗模型

Abstract: In order to improve the quality of agrometeorological observation data, the cleaning standard and quality control method of agrometeorological data are established based on the unique meteorological observation equipment and environmental attributes of farmland. For the case of abnormal data attributes and repeated records, the method of cleaning the blank value of Bohn data cleaning model and the method of cleaning the noise data are selected. Through the historical data statistics of observation elements in the space of agricultural micro meteorological observation station, the clean data index is obtained and applied to the dynamic threshold generation method of data quality, and the quality control model of agricultural micro meteorological data is established. The data evaluation indexes after cleaning and quality control showed that the accuracy and repeatability of the data are significantly improved after data cleaning and quality control model. The data cleaning quality control method is helpful to obtain the monitoring information of agrometeorological disaster accurately and provide effective decision support for agricultural disaster prevention and reduction.

Key words: agromicro meteorology, data quality control, Bohn data cleaning model

中图分类号:

P49
TP274

周强. 农业微气象观测数据清洗和质控技术研究[J]. 湖北农业科学, 2020, 59(14): 37-40.

ZHOU Qiang. Study on cleaning and quality control technology of agricultural micro-meteorological observation data[J]. HUBEI AGRICULTURAL SCIENCES, 2020, 59(14): 37-40.

参考文献

[1] 于力超,金勇进,王俊. 缺失数据插补方法探讨——基于最近邻插补法和关联规则法[J]. 统计与信息论坛,2015,30(1):35-40.
[2] 戴明锋,金勇进,查奇芬,等. 二分类Logistic回归插补法及其应用[J]. 数学的实践与认识,2013, 43(21):162-167.
[3] 刘燕. 基于Logistic回归的近邻择优插补法[D]. 天津:天津财经大学,2013.
[4] 俞荣华,田增平,周傲英. 一种检测多语言文本相似重复记录的综合方法[J]. 计算机科学,2002, 29(1):118-121.
[5] 赵一凡,卞良,丛昕. 数据清洗方法研究综述[J]. 软件导刊,2017,16(12):222-224.
[6] OTHMAN L B,YAHIA S B.GBARMVC: Generic basis of association rules based approach for missing values completion[J]. International journal of computing & information sciences,2011,9(1):16-22.
[7] 肖心园,江冰,任其文,等. 基于插值法和皮尔逊相关的光伏数据清洗[J]. 信息技术,2019(5):19-22,28.
[8] 潘腾辉,林金城,郑细烨,等. 面向数据库清洗的数据质量控制设计[J]. 信息技术,2017(10):133-136.
[9] 李昌华,卜亮亮,刘欣. 基于聚类和神经网络对建筑节能气候数据清洗的算法[J]. 计算机应用,2018,38(S1):83-86,111.
[10] 窦以文,屈玉贵,陶士伟,等. 北京自动气象站实时数据质量控制应用[J]. 气象,2008,34(8):77-81.
[11] SHAFER M A,FIEBRICH C A,ARNDT D S,et al.Quality assurance procedures in the oklahoma mesonetwork[J]. Journal of atmospheric & oceanic technology,2000,17(4):474-494.
[12] 陈奕隆. 美国自动地面观测系统[J]. 气象科技,1994(3):48-54.
[13] 廖捷,周自江. 全球常规气象观测资料质量控制研究进展与展望[J]. 气象科技进展,2018,8(1):56-62.
[14] 任芝花,张志富,孙超,等. 全国自动气象站实时观测资料三级质量控制系统研制[J]. 气象,2015, 41(10):1268-1277.
[15] 韩海涛,李仲龙. 地面实时气象数据质量控制方法研究进展[J]. 干旱气象,2012,30(2):261-265.
[16] JEFFERY S R,ALONSO G,FRANKLIN M J,et al.Declarative support for sensor data cleaning[A]. Proceedings of 4th international conference on pervasive computing[C]. Springer, New York,2006.83-100.
[17] GILL S,LEE B.A framework for distributed cleaning of data streams[J]. Procedia computer science,2015,52(1):1186-1191.
[18] 李良富,王汉杰,刘金玉,等. 基于黑板模型的地面气象数据质量控制[J]. 气象科技,2006,34(2):199-204.
[19] 范文波. 地面气象观测数据综合质量控制方法研究与实现[D]. 南京:南京信息工程大学,2016.

农业微气象观测数据清洗和质控技术研究

Study on cleaning and quality control technology of agricultural micro-meteorological observation data

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	谭静, 陈正洪, 陈英英, 贾文茜, 匡昕. 湖北省生态旅游气候资源分析及区划[J]. 湖北农业科学, 2022, 61(15): 67-74.
[2]	王萌萌, 杨学斌, 王吉顺, 来剑斌. WOFOST模型在德州市的适用性研究[J]. 湖北农业科学, 2022, 61(5): 160-164.
[3]	赵维忠, 马力文, 徐青, 张学艺. 影响宁夏贫困山区马铃薯商品薯率的气象因子分析[J]. 湖北农业科学, 2022, 61(1): 42-45.
[4]	贺莉微, 孙朋杰, 曾琦. ERA5再分析资料在风能资源方面的应用[J]. 湖北农业科学, 2021, 60(24): 70-75.
[5]	周威, 陈科, 黄萍. 极端气温变化对湘西北物候的影响[J]. 湖北农业科学, 2021, 60(11): 55-61.
[6]	陈思宁, 郭军, 赵艳霞, 李兴阳, 陈跃浩, 郭玉娣. 气候变化背景下农业适应性调整效果定量化评估研究进展[J]. 湖北农业科学, 2021, 60(5): 5-12.
[7]	李玉华, 褚希, 张红, 车军辉, 李文科. 山东省智慧精准农业气象服务平台的设计与实现[J]. 湖北农业科学, 2021, 60(1): 147-150.
[8]	李玉华, 褚希, 徐彩艳, 李文科, 李旭旭. 山东省现代农业智慧气象服务支撑系统的设计与实现[J]. 湖北农业科学, 2020, 59(20): 159-163.
[9]	张天峰, 姜惠峰, 张红芬, 吴爱敏, 张红妮, 焦美玲, 张雪姣. 庆阳市城市内涝预报预警指标研究[J]. 湖北农业科学, 2020, 59(13): 77-83.
[10]	李彤霄, 成林, 马青荣, 刘佳. 河南省干热风发生规律及其与小麦开花期的关系[J]. 湖北农业科学, 2019, 58(22): 58-64.
[11]	徐彩艳, 任广治, 张嫣然, 李华. 基于用户定制的气象触摸显示屏系统的设计与实现[J]. 湖北农业科学, 2019, 58(14): 138-140.
[12]	郑治斌, 王晓莉. 实施乡村振兴的气象科技作为[J]. 湖北农业科学, 2019, 58(14): 167-174.
[13]	徐彩艳, 张嫣然. 气象微信图文消息的传播现状和策略分析[J]. 湖北农业科学, 2019, 58(9): 163-167.
[14]	张利平, 蔡松, 张鸿, 游英, 赵薇. 达川区暴雨洪涝灾害风险区划[J]. 湖北农业科学, 2019, 58(6): 39-43.
[15]	张美玲, 陈龙, 辛明月, 李俊和, 殷红, 易希延. 盘锦地区冬季日光温室小气候预报模型研究[J]. 湖北农业科学, 2018, 57(17): 96-98.