您的位置: 首页 > 数据杂志

农业大数据三讲

出处:数据杂志 作者:刘石 网编:张兰 2019-05-07

数字农业的发展还处于早期阶段,对于其核心的组成部分以及各个部分的理解还有不少歧义。

11.jpg

第一讲:什么是数字农业

数字农业的发展还处于早期阶段,对于其核心的组成部分以及各个部分的理解还有不少歧义。

其中,数字农业的概念大概是在20年前首次被提出,但近几年开始渐渐被人们所熟悉,也已经成为公众的热门话题之一。美国的孟山都、杜邦、嘉吉等公司,欧洲的拜耳、先正达和巴斯夫等公司,以及形形色色的小公司都看好这一新兴领域的发展潜力,纷纷发力,造成数字农业一派热火朝天、欣欣向荣的景象。

数字农业是信息技术在农业领域的综合和全面的应用。具体来讲,数字农业是指将遥感、地理信息系统、全球定位系统、计算机技术、通讯和网络技术、自动化技术等高新技术与地理学、农学、生态学、植物生理学和土壤学等基础学科有机地结合起来,从而实现在农业生产的全过程中,对农作物从规划、投入、生产,到农产品收获、加工、营销等全过程模拟、监测、判断、预测和建议等,达到提高资源利用率、降低成本、提高生产效率和产品质量、改善生态环境的目的。

数字农业从概念的产生,到实践中的探索、发展和应用,一直在不断丰富和完善之中。对于数字农业的定义和理解也因人而异。综合世界主要农业国家的科研和企业的实践,笔者在这里给大家做一个阶段性的总结。

数字农业是一个集合概念,主要包含以下4个主要部分:

农业物联网(Internet of Things)

农业物联网从本质上讲,是一套数控系统。在一个特定的封闭系统内,以探头、传感器、摄像头等设备为基础的物物相联。它根据已经确定的参数和模型,进行自动化调控和操作。由于需要以硬件设备的投资和联网为基础,因此投资额较大,主要用于设施农业生产过程的管理和操作,也用于农产品的加工、仓储和物流管理。

农业大数据(Big Data)

农业大数据是与农业物联网相对应的概念,它是一个数据系统,在开放系统中收集、鉴别、标识数据,并建立数据库,通过参数、模型和算法来组合和优化多维和海量数据,为生产操作和经营决策提供依据,并实现部分自动化控制和操作。因为它是在完全开放的系统中运作,因此主要用于大田农业的生产和农业全产业链的操作和经营。

精准农业(Precision Farming)

精准农业是建立在农机硬件基础上的执行和操作系统。它主要是以农机的单机硬件为基础,配以探测设备和智能化的控制软件,以实现精准操作,变量控制(包括变量播种、变量施肥、变量喷药等),无人驾驶,以及最佳的工作环境和场景适配。精准农业强调的是(单体)设备和设施操作的精准和智能化控制,是硬件+软件。

智慧农业(Smart Agriculture)

智慧农业是建立在经验模型基础之上的专家决策系统,其核心是软件系统。智慧农业强调的是智能化的决策系统,配之以多种多样的硬件设施和设备,是系统+硬件。智慧农业的决策模型和系统可以在农业物联网和农业大数据领域得到广泛应用。

2016年,谷歌旗下Deep Mind的Alpha Go横空出世,把人工智能(AI)的决策水平提高到一个前所未有的高度,让人们认识到人工智能发展的提速和广阔的前景,也为数字农业的发展注入了强心针。

由于数字农业的发展还处于早期阶段,对于其核心的组成部分以及各个部分的理解还有不少歧义,因此,概念被用错和被混为一谈的事情经常发生。

数字农业未来的发展前景虽然非常富有吸引力,但是由于农业的生产涉及的品类和品种繁多,生产过程漫长和复杂,不可控因素多,变量多,因此数字农业从单点突破到全面进步和应用还需要假以时日。

第二讲:什么是大数据

数字农业的发展还处于早期阶段,对于其核心的组成部分以及各个部分的理解还有不少歧义。大数据(Big Data)是一个比较新的概念,它也很容易让人望文生义。最简单和最直接的反映就是认为大数据就是“大量的数据”。

一位统计局的领导就自豪地跟我说:“我们有各行各业多年来的统计数据,有公开发表的,也有没有公开发表的。这些都是最好的大数据。”客观地说,这是一个非常典型的误读。

关于大数据,不同的研究机构给出的定义是不同的:

美国专门研究大数据公司Gartner的定义是:无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中给出的定义是:不用随机分析法(传统的抽样调查)的途径,而采用所有数据进行分析处理。

IBM公司归纳了大数据的5V特点:Volume(大量),Velocity(高速),Variety(多样),Value(低价值密度),Veracity(真实性)。笔者认为,这些国外的机构和专家的总结和归纳,都在一些侧面反映了大数据的特质和特性,但是还不够全面和准确。那么我们应该怎样理解和定义大数据呢?

大数据是动态数据

通过各种设备、设施、软件和系统实时获取的动态数据是大数据。比如生产过程中通过监控设备获取的数据、气象监测数据、作物生长数据和消费者的动态数据等等。但统计数据不是大数据,因为它主要是通过行政管理机构或者市场调查机构,逐层调查和统计上来的静态数据,比如说农业、农村和农民数据等。这些数据的获得不仅耗时费力,还常常会出现人为的偏差和失误。而且一旦统计结果汇总之后即成为历史数据。动态的数据收集、汇总和实时更新需要通过适当的设备、设施和技术手段来实现。所幸,社会活动的多样化,信息技术的发展,特别是移动终端的普及,使得无限这一任务可以轻松达成,而且大数据的触角也得到极大延展。

大数据是多维度的数据

我们以农业的产业大数据为例,影响生产过程的因素可以是投入的原材料的变化、技术的先进程度、生产的环境条件、人员的操作水平、市场的行情变化、物流的调控能力等等,总之是多维度的。这些维度的数据需要涵盖能够影响结果的诸多原因,即必要的维度,否则就没有价值。数据量大不代表“充分”,也不表示能够包含必要的“维度”。只有一个或少量维度的数据,数量再大也不能够称之为大数据。

大数据是有逻辑关系的数据

现代社会生活丰富多彩,节奏快,每时每刻都产生大量的有价值和无价值的数据。我们根据需求,将这些大量、动态和碎片化的数据收集、标识和关联,并按照一定的逻辑关系组合起来以后,这些数据就开始变得有意义和有价值了。以消费大数据为例,收入水平与消费支出,年龄段与产品类型,地域分布与产品偏好,职业与品牌选择等等,都存在着极高和多重的逻辑关联,我们通过关联分析,可以产生大量和有价值的次生数据并从中得到结论。因此,没有逻辑关系关联的数据是没有价值的,也不能称之为大数据。

大数据之间可以形成多种函数关系

以产业大数据为例,从统计的角度可以统计工厂、产品、工人、原材料投入、消耗、生产效率等很多项目,统计数据之间一般只有线性关系。从大数据的角度可以把整个生产分为不同的生产过程或生产单元,每个生产过程或单元的变量因素都可以有不同的原材料投入、生产条件、管理方式、控制节点等,其中任何一点或多点的变化及其变化的幅度,对生产结果会造成不同的和有规律可循的影响,这些数据之间具有非常清晰的数量关联,人们可以通过参数、算法等总结出其中的数量关系。而且这些多种变量数据之间通常是可以被描述为模型下的函数关系。发现、构建和不断完善各种数据之间逻辑和函数关系才是大数据的本质追求。

综合以上各点,大数据的正确定义应该是:大数据是通过应用软件或系统,自我产生和实时更新的,按一定逻辑关系关联的多维数据。

第三讲:什么是农业大数据

我们首先要区分农业大数据和农业大数据技术。不幸的是,把两样不同的东西混为一谈的人很多。

农业大数据技术核心在于技术,包括获取技术和处理数据的技术,相比工业大数据技术,大数据处理技术类似,但是农业大数据获取技术对于技术的多样性和复杂程度要求更高,根本原因在于工业大数据技术面对的是非生命物质,农业大数据面对的是开放环境生长的动植物生命,农业大数据技术更为复杂。

那什么是农业大数据?首先理解什么是大数据?它是真实世界的一种映射,通过数据化把真实世界映射在另外一个虚拟世界,通过对数据的建模、运算和处理,让我们对于真实世界的感知又深了一层,相比于传统利用经验的判断,农业大数据其实是我们解构生命属性动植物全生命流程(产业链)的一种新的更接近真实的模式。

农业大数据技术

(1)农业大数据获取技术

遥感技术,包括卫星遥感、无人机遥感、有人机遥感、定点摄像头等;

气象技术,包括气象卫星、气象雷达、气象基站、无人自动气象站等;

探测技术,包括照相机、摄像头、探测设备、传输设备;

定位技术,它包括GPS、北斗、伽利略、格罗纳斯、RTK等;

各种有线和无线传输技术

(2)农业大数据的处理技术

数据库

参数、算法、模型

小程序、App、软件

功能、模块、系统、平台、SAAS

云计算、区块链

农业“大”数据

我们之前讲过,农业大数据之“大”主要体现在“多维度”上。那么,农业大数据的多维度主要都体现在哪些方面呢?

(1)它首先体现在“涉农”的广泛性和全面性,即涵盖农业生产过程的全要素。

宏观要素:社会因素、经济因素、政策因素、成本要素、价格要素、供求关系、国际贸易因素等;

投入要素:如种子、化肥、农药、农机、农膜等;

环境要素:气候因素、气象因素、地理环境、小区域气候、土壤因素等;

操作要素:如农事规划,农事操作,操作与农时/作物生长周期的配合,农机与农具的搭配,操作的时间、数量、质量、效果等;

管理要素:规模、效率、投入、产出、成本、效益、人均劳动生产率等。

(2)它体现“涉业”,即涉及产业链全过程的各个方面的数据。

金融大数据:融资、信贷、数量、比例、期限、利率、还款方式、保险、期货、收入、效益等;

产业大数据:作物、品种、投入、生产、产出、销售、加工、损耗、成本、效益、投入产出比、资金周转率、仓储、物流,库存,损耗,开工率等;

消费大数据:消费群体、消费水平、地域、渠道、年龄、偏好、品类、数量、频次、时段、价格敏感度、支付方式、重复购买率、品牌忠诚度等。

农业大数据的逻辑和架构

构建农业大数据系统有三大注意事项

(1)务逻辑优先技术逻辑

农业大数据因为涉及开放和多变环境、冗长的产业链、漫长的时间、多重的参与者,所以远远比一般产业的大数据来得复杂。正确理解产业链的基本构成和各自不同的内在逻辑,预见产业链的变化和发展趋势,厘清整体和各个组件结构关系,模型的构成以及要素的优先次序和权重等尤为重要。

业务逻辑优先于技术逻辑是农业大数据能够得以正确实现的基本前提,万万不可由于“技术控”而被误导。技术再先进,结构做得再漂亮,如果模型没能够正确理解和按照业务逻辑建立起来,其结果也只能是好看而不实用。

(2)底层芯片设计很重要

构建农业大数据系统如同设计“芯片”,是一层层通过叠加而搭建起来的。在清晰的产业逻辑基础上建立的底层架构的合理性十分重要,它决定着“芯片”最后的成功与否以及是否具有实用价值。如果没有合理的底层设计,许多先前看起来很有价值的应用和数据最后都可能形同鸡肋。由于基础没有打好,后续的系统运行会低效率、高功耗,而且漏洞百出,最后不得不推倒重来。

(3)打通数据孤岛是关键

农业大数据系统的建立要实现开放性设计,能够与外源数据实现兼容和交换,以避免成为“数据孤岛”。因为只有实现完整产业链基础上的“数据链”贯通,农业大数据才真正具有价值

(作者系碧桂园农业控股有限公司副总裁。本文第一讲首发于《证券时报》,二、三讲首发于《数字农业周刊》)

文 / 刘石

本网站所有内容属北京商报社有限公司,未经许可不得转载。 商报总机:010-64101978 媒体合作:010-64101871

商报地址:北京市朝阳区和平里西街21号 邮编:100013 法律顾问:北京市中同律师事务所(010-82011988)

网上有害信息举报  违法和不良信息举报电话:010-84276691 举报邮箱:bjsb@bbtnews.com.cn

ICP备案编号:京ICP备08003726号-1  京公网安备11010502045556号  互联网新闻信息服务许可证11120220001号