基于大数据数据采集与预警平台建设
文章出处:大数据联盟 文章作者: 发布时间:2019-06-27 浏览次数:40
 

1.课题介绍

  

课题名称1:基于大数据的山东省小麦、玉米主要虫害特征数据采集与预警平台建设

本项目主要以小麦、玉米的虫害为主, 采集山东省小麦、玉米虫害发生数据,建立基于分布式数据库的数据库。为了进行准确的虫害的监测预报工作,我们还要在现有的技术上建立基于大数据平台Hadoop的小麦、玉米虫害的预警平台建设。

内容:

1数据的采集与整理

1.1主要虫害数据的采集

采集6-8年内棉铃虫、麦长管蚜、禾谷缢管蚜、小麦吸浆虫和亚洲玉米螟、灰飞虱等主要虫害的数据。

数据主要内容包括:

①小麦玉米不同生育期主要害虫不同发育阶段的形态特征数据;

②小麦玉米不同生育期主要虫害的危害症状数字化;

③不同生态区小麦玉米主要害虫的年发生动态数据;

④极端气候条件下(如温度、湿度和降雨等)小麦玉米主要害虫发生数据;

⑤不同品种、不同产量区的预警阈值;

⑥国外小麦、玉米栽培危险性有害生物监测数据;

⑦各类治理措施的综合与优化。

1.2数据的整理

以前采集到的数据没有统一的标准的格式说明,要建立小麦、玉米虫害的预警平台就要对所有的数据进行统一的格式处理。耗费的人力、财力比较大。

数据主要是纸质文档或EXCEL电子表格,需要大量的数据录入和整理工作。

2建立基于Hbase的山东省小麦、玉米虫害特征及相关数据库。

将这些数据分布式存储于Hbase数据库中,为高效快捷的数据处理奠定基础。

3小麦和玉米虫害的识别

虫害都有很多相似的部分,识别出小麦、玉米的某一种虫害,需要足够多的数据及丰富的特征属性。同时还需要对现有的识别技术进行改进。

4监测预警

近年来,利用机器学习的算法对小麦、玉米的虫害进行监测预警受到了人们的广泛关注。本项目尝试根据已有的数据,构建基于Hbase的分布式数据库。将我们提出的局部支持向量机模型与大数据平台Hadoop相结合,对未来的小麦、玉米的主要虫害发生的预警,方便决策者做出正确的决策。

 

课题名称2:山东省历年虫害(以棉铃虫为主)数据库的建设

本项目以棉铃虫为主,将山东省至少10年的纸质的历史虫害数据电子化,并进一步格式化整合,建立相应的虫害数据库。解决目前数据采集标准不统一,汇报格式不规范,以及大量实时和历史数据难以利用与共享等问题。

  

2.科研成果

_6T{@M9$~BL`E[G2%GFE8ME.png

Q_YP318W}0ZHW(%V5KHXE$A.png

27UA3%CR{S98VGTR[S)EDII.png

3.图说数据

1)虫害数据展示:按照不同类型的虫害分别展示

_4`LL{))~$XAGH@VO2{@ZD7.png

注:1.小麦蚜虫分为麦长管蚜、禾谷缢管蚜,但是采集时,统一归为了小麦蚜虫。

2.棉花虫害中的棉铃虫的属性与小麦玉米虫害中的棉铃虫所采集的属性不同。

需展示的内容如下: 

a. 源数据展示:设定查询条件(站点、虫害代数(不分代数的则没有该项)、时间),按查询条件展示数据库中的所有属性(见样例a)。

b. GIS地图展示:展示指定日期的虫害发生量以及发生程度,不同发生程度颜色不同。地图为全省的地图,点击可进入对应的市或者县(见样例b

c. 查询展示:进入指定的虫害,选择指定的站点(各个市的子站点或者全市平均或者不限)、指定的日期、指定的虫害代数,显示在上述查询条件下该虫害的发生量、发生程度的数据表、折线图、柱状图(见样例c

d. 对比展示:1)不同县级站点的对比(发生量、发生程度);

2)不同市级站点(全市平均)的对比(发生量、发生程度);

3)同种虫害不同代数的对比(发生量、发生程度)。

   展示形式:数据表、折线图、柱状图 (见样例d)。

  

参考样例:

样例a. 源数据展示

5[6IE5O%[{H6)1(DIL}_KDU.png

  

样例b. GIS地图展示

`QY{]HN9943~8XB3KLRCK~O.png

  

样例c. 查询展示

Y_I54(RXIUD(WSYDL}HTDN7.png

I9RW9}T~%JJPHW$}L86`DDK.png

样例d. 对比展示

LJV}}B5}6LI274SV_R`28`7.png

82RCVEMTR3]QUMDB6]UQLJV.png

2)采集端数据展示(目前还没有建数据库):

1、气温数据:采用折线图的形式来展示每天的平均的气温、最低气温、最高气温、湿度、平均气压、最低气压、最高气压、二氧化碳浓度,PH值。

(EKO1]EK)4}LRS$TQS]6DGF.png

2、降雨量

H{FHH0E`9OTS3@1)NDS2TFG.png

3、 日照时数:

E~WSS71GXR_8FFI[)QD[EYN.png

4、风速风向图:

I5(T~_~5Y87I88()~RF0LEN.png

4.课题所用数据的表结构及数据

(1)现有数据汇总

棉铃虫

小麦、玉米6种虫害

气象数据

1959-1989年全省多站点数据(共三(2,3,4代,每代有发生量和发生期两种不同的表,各代站点不全相同。该表对应的是年发生情况)

2003-2013年项目涉及的五站点数据(尚在整理,准备放入数据库。该表对应的是短期调查数据)

1951.1-2014.3 全省35个站点气象数据 (以文本文件存储,包括站点名、年、月、日、气温降水等20个属性,多个站点缺失1995-2006年数据)

2001-2010年全省多站点数据(共四代,每代对应一个表,各代站点不全相同。该表对应的是年发生情况)

2014-2015年项目涉及的五站点数据(2015年数据还未采集整理。该表对应的是短期调查数据)

2011.11-2014.12泰安农大试验田气象数据(以电子表格存储,包含日期、时间在内共38个属性,每隔30分钟一条数据)

(2)课题所用数据的表结构

 

表5.1 2014年采集数据的数据库名称对应

表名

huifeishi

mianlingchong

nianchong

xijiangchong

yachong

yumiming

虫害名

灰飞虱

棉铃虫

粘虫

吸浆虫

蚜虫

玉米螟

 

2014年采集的灰飞虱数据表结构如图5.1所示:

]RJOQK(MH{(IBF_H5LM11`Q.png

2001-2010 年二代棉铃虫数据表如图5.2所示

{UR_A253GY[_2Y67Y}2FP`R.png