欢迎来到速发表网,咨询电话:400-838-9661

关于我们 登录/注册 购物车(0)

期刊 科普 SCI期刊 投稿技巧 学术 出书

首页 > 优秀范文 > 大数据技术

大数据技术样例十一篇

时间:2023-04-11 17:28:49

大数据技术

大数据技术例1

大数据(Big Data)是目前最重要的科学、技术和社会话题。借用IDC数据公司的定义:“大数据是一种新一代的技术和架构,具备高效率的捕捉、发现和分析能力,能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。”

大数据定义有着如下的基本前提和含义。

① 大量的数据:大数据概念源于数据的爆炸性增长。用世界著名的咨询公司高德纳(Gartner)研究报告的描述:“同一类型的数据量快速增长;数据增长速度的加快;数据多样性、新数据来源和新数据种类的不断增加。”

② 多种类型数据积累:新的数据存储和数据采集的技术发展使巨量数据的采集、收集、存储成为可能。网络技术、移动设备、数字传感器、数码摄影/摄像、监控影像、卫星定位系统、遥感技术、气候和环境监测技术等等,每时每刻都在各种形式、各种类型的大量数据。

③ 计算技术的进步与发展:现代计算技术、网络技术、多媒体技术和数据库处理技术等可以处理各种形式的海量数据,产生出大量的高附加值的数据、结果、状态和知识。

④ 数据处理能力成为战略能力:数据量的激增、数据类型的多样、技术平台对数据的综合处理,造成了知识边界扩展、知识价值提升、知识衍生能力加快,它极大地影响到了企业、个人、社会和政府的决策,极大地促进了社会生产力的发展,使掌握大数据技术者获得了竞争优势和难于模仿的核心竞争力。因此,大数据技术也成为了国家的核心战略资源。

大数据的含义广博、技术领域广泛、技术平台多样、作用效果巨大、影响意义深远。理解大数据的理论、方法和架构,适应大数据的变革与发展,分享大数据所带来的种种便利和收益,便能够在大数据时代占领先机。

1.2 大数据对数据库技术的影响

大数据的宗旨是处理数据,数据库技术自然占据核心地位。而大数据环境下的数据库技术也具有明显的特殊性。

1.2.1 大数据环境下数据处理技术面临的新特点

数据量宏大。对数据库技术影响最大、最直接的方面莫过于数据的爆炸性增长。即使先不考虑数据类型的变化,需要处理的数据从MB扩展到GB,现在再扩展到TB,不远的将来数据库将经常面对PB量级的数据,这必然对数据库的硬件架构、数据库系统结构和数据库应用产生重大的影响。

数据形式多样。另外一个对数据库技术产生重要影响的因子是数据的多样化,传统数字、图像、照片、影像、声音等多种数据资源需要进行处理,并且和传统关系式数据不同的,许多数据格式中的有价值数据并不多,例如多张图片定对象的变化,连续视频影像中对特殊对象的跟踪等等,其数据抽取方式、过滤方法和存储、计算方式均有别于传统数据库。

单机或小型局域网的数据库处理无法满足。当前,数据量爆炸式增长,数据类型日趋多样,传统关系数据库的处理能力已难于满足,需要新的数据库处理技术。

传统的并行数据库的灵活性具有局限性。并行数据库系统取得了辉煌的成绩,但是它的灵活性不佳,弹性受限,系统规模的收缩或扩展成本非常高。这样的系统适合于“相对固定结构”的计算结构,例如机银行业务管理系统或城市交通管理系统等。

结构化、半结构化与非结构化形式并存。让数据库有能力处理这些半结构化和非结构化(有时不作区分)数据变成了新型数据库技术的一项迫切要求。

对结果要求的模糊化。在大数据的时代,计算技术不仅限于回答“是/非”问题,而是需要更多的模糊化结果。例如,流感有很可能在一周后流行、近期可能发生5级左右地震、近一周国际往返机票将上涨……这些答案并不精确,但足以指导人们的活动。非结构化数据的处理结果常常是给出模糊化的答案。

新数据库技术的出现与挑战。新需求的出现,促使了新技术的产生,为处理非结构化数据,Apache、Google、Amazon等公司分别开发了适应各自需要的新型数据库系统,相关的专家经过分析和总结提出了NoSQL的设计理念,并创建了许多成功的产品。

1.2.2 新型数据库技术的特点

与传统数据库技术相比较,新型数据库技术具有一些明显的特点,具体如下:

可处理的数据总量和数据类型增加。不再为数据结构化或数据代表性而人为地选取部分数据或进行数据抽样;不再靠样本规模的大小来控制结果的置信区间和置信度。新的数据库处理技术试图利用“全部数据”,完成对结果的计算和推断。

使用更多的非结构化数据,而不是片面地强调全部使用结构化数据。在非结构化的高复杂度、高数据量、多种数据类型的情况下,允许结论和结果的“不精确”,允许追求“次优解”。体现大数据技术“以概率说话”的特点。

不再试图避免或降低数据的混杂性,而是把“使用全部数据”作为追求“次优解”的途径。即在复杂、混乱、无结构化与确定、规整、结构化数据之间做出平衡。

在遇到“使用全部数据,得出模糊化结果”与“实用部分数据,得出准确结论”的选择时,新型数据库技术一般会选择前者,从一个更全面的角度利用更多的数据资源去寻找答案。

科学地在因果关系与相关关系中做出抉择。如果数据总体支持因果关系的判别和断言,则像传统数据库那样提供因果关系断语;如果数据计算量宏大、成本高昂或条件不具备,则把关注点由“因果关系”调整为“相关关系”——将追求“最优解”变为追求“次优解”或“模糊解”。自然地,这种相关关系的选择不能是随机的,而是预先设计和规划好的。

不同的数据库开发理念,不同的应用目标,不同的技术方案,早就了新型数据库丰富多彩、特点各异的局面。

1.3 从传统关系数据库到非关系数据

在计算机系统结构刚刚趋于稳定的1970年,IBM公司的Edgar Codd(科德)首先提出了关系数据库的概念和规则,这是数据库技术的一个重要的里程碑。科德定义的关系数据库具有结构化程度高、数据冗余量低、数据关系明确、一致性好的优点。关系数据库模型把数据库操作抽象成选择、映射、连接、集合的并差交除操作、数据的增删改查操作等。而1976年Boyce和Chamberlin提出的SQL结构化查询语言则把关系数据库及其操作模式完整地固定下来,其理论和做法延续至今,被作为数据库技术的重要基石。关系数据库中定义的关系模型的实质是二维表格模型,关系数据库就是通过关系连接的多个二维表格之间的数据集合。当前流行的数据库软件Oracal、DB2、SQL Server、MySQL和Access等均属于关系数据库。

到二十世纪八十年代后期,IBM的研究员提出了数据仓库(Data Warehouse)的概念,4年后Bill Inmon给出了被大家广泛接受的数据仓库定义:“数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理中的决策制定。”数据仓库的进步在于,它把决策支持定为数据库中数据组织和管理的目标,从而把智能性和决策能力融入到数据库中。Inmon之后,Ralph Kimball建立了更加方便、实用的“自底向上”数据仓库架构并称之为“数据集市”(Data Mart),这种技术受到企业及厂家的欢迎并采纳实施。虽然数据集市被归并为数据仓库,但是它的出现诱发了商务智能和联机分析技术的流行。

大数据技术例2

传统的关系数据库,从其创立至现在,长期占据数据库的绝对统治地位。但是,数据挖掘、商业智能和可视化技术的发展,特别是它们处理非结构化数据的能力,动摇了传统数据库的牢固地位。于是善于处理非结构化数据的种种数据库工具大量产生,这其中必须优先提及的便是NoSQL(意为Not Only SQL)及NewSQL(意为New SQL)两大数据库阵营。

现在随着大数据时代的到来,由Carlo Strozzi开创的NoSQL以其技术上的先进性、方便性得到了越来越多的认可。NoSQL改变了数据的定义范围,其“数据类型”可以是文本、图片、影像、网页,也可以是整个文件;NoSQL数据库是非关系式的、数据间的关系更加复杂、多样,类型和相互关系具有多种扩展可能、存储方式也多采用分布式结构。经过十多年的发展,NoSQL取得了成功,采用NoSQL技术的产品也不断增长,目前NoSQL网站上()已经收集了150余个相关产品,人们也把采用类似NoSQL结构和原理的数据库统称为NoSQL数据库。

最初NoSQL有意排斥关系数据库的ACID规则和SQL特性(后发现其弱点又在一定程度和一定范围内支持数据的一致性要求和SQL特性)。NoSQL坚持分布式领域的CAP理论,CAP的含义为:

Consistency,一致性。数据一致更新,所有节点访问同一份最新的数据副本;

Availability,可用性。对数据更新具备高可用性;

Partition tolerance,分区容错性。能容忍网络分区。

CAP理论主张任何基于网络的数据共享系统,都最多只能拥有以下三条中的两条。而这种“三取二”的法则以及具体理解与执行的争论就一直存在。想同时满足三者,或者过分强化割舍三者之间联系均会破坏数据系统的效率和效果。32岁便获得加州大学伯克利分校终身教授的Eric Brewer提出了BASE理论(Basically Available, Soft state, Eventually consistent;基本可用、软状态、最终一致性),它用一种更注重可用性、更便于理解的方式解释分布式系统的特点。

NewSQL注意到关系数据库的灵活性不足、数据库互锁机制效率低下的特点,同时也意识到NoSQL不支持SQL所带来的不便,它采用了一种近似折中的方案,既支持SQL并保证一定程度的数据一致性,同时也提供NoSQL数据库的非关系数据处理的扩展功能,因而从产生之初便受到业界的喜爱,相关产品不断涌现。NoSQL和NewSQL常见产品及其分类情况如图所示。

2.2 NoSQL及其发展趋势

在NoSQL潮流中,最重要的莫过于Apache基金会的Hadoop。它是一个领导者,是一个典型的分布式文件系统,是一个开源系统。用户可以在不了解分布式底层细节的情况下,借助Hadoop开发分布式程序,它取得了成功,成为分布式数据处理界的巨兽(Hadoop的Logo就是只大象)。 现在甚至出来了“无分布不Hadoop”——每个传统的数据库提供商都急切地声明支持Hadoop。关系数据库的传统霸主Oracle公司也将Hadoop集成到自己的NoSQL数据库中,Microsoft、Sybase、IBM也加入了收纳Hadoop功能的竞赛中。

第二位领导者,MongoDB,是一个成功的文档处理型数据库系统,它被称为“非关系式数据库中最像关系式数据库的产品”。MongoDB查询功能强大,特别适合高性能的Web数据处理。

Cassandra是这个领域中的一个另类产品,它兼有键值数据库和列值数据库两者的长处,它的查询功能很优秀。虽然运行Cassandra集群难度较高,但它升级后的分析能力使得很多人感到惊讶。

Redis也是相当好的一个产品。对故障恢复的良好支持以及使用Lua的服务器端脚本语言是明显区别于其他软件之处。使用Lua确实带来了一些震动,因为更多的人喜欢和习惯JavaScript服务器端语言。但是,Lua是一个整洁的语言,它并为Redis开启了潘多拉盒子。

CouchBase在可扩展性和其他潜在因素,使其看起来是一个很好的选择,尽管Facebook以及Zynga面临着关键开发者离开的风波。CouchDB会变得更好抑或相反?只要数据库做得好受众就会欢迎,现在看来,它确实做的很好。

还需要提及的是Riak,在功能性和监控方面它也有了巨大的提升。在稳定性方面,它继续得到大家的赞美:“像巨石一般稳定、可靠且不显眼……”。Riak 数据模块化方面做得很有特色。

大数据技术例3

一、智能电网、云计算和大数据的关系

(一)智能电网与大数据的关系

智能电网的理念是通过获取用户如何用电、怎样用电的信息,来优化电的生产、分配及消耗,利用现代网络、通信和信息技术进行信息海量交互,来实现电网设备间信息交换,并自动完成信息采集、测量、控制、保护、计量和监测等基本功能,可根据需要支持电网实时自动化控制、智能调节、在线分析决策和协同互动等高级功能。可以抽象的认为,智能电网就是大数据这个概念在电力行业中的应用。

(二)大数据与云计算的关系

云计算是一种利用互联网实现随时、随地、按需、便捷地访问共享资源池(如计算设施、应用程序、存储设备等)的计算模式。大数据根植于云计算,云计算的数据存储、管理与分析方面的技术是大数据技术的基础,云计算使大数据应用成为可能,但是没有大数据的信息沉淀,云计算的功能将得不到完全发挥,所以大数据与云计算是相辅相成的。

(三)智能电网、云计算、大数据的相互关系

云计算能够整合智能电网系统内部计算处理和存储资源,提高电网处理和交互能力,成为电网强有力的技术组成;大数据技术立足于业务服务需求,根植于云计算,以云计算技术为基础;所以三者是彼此交互的关系。

二、电力大数据关键技术

(一)电力大数据的集成管理技术

电力企业集成管理技术是为解决电力企业内部各系统间的数据冗余和信息孤岛而产生的。电力大数据的数据集成管理技术,包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等。大数据的一个重要特点就是多样性,这就意味着数据来源极其广泛,数据类型极为繁杂,这种复杂的数据环境给大数据的处理带来极大的挑战,要想处理大数据,首先必须对数据源的数据进行抽取和集成,从中提取出实体和关系,经过关联和聚合之后采用统一的结构来存储这些数据,在数据集成和提取时需要对数据进行清洗,保证数据质量及可靠性。大数据存储管理中一个重要的技术是NoSQL数据库技术,它采用分布式数据存储方式,去掉了关系型数据库的关系型特性,数据存储被简化且更加灵活,具有良好的可扩展性,解决了海量数据的存储难题。

(二)电力大数据的数据分析技术

大数据技术的根本驱动力是将信号转化为数据,将数据分析为信息,将信息提炼为知识,以知识促成决策和行动。借助电力大数据的分析技术可以从电力系统的海量数据中找出潜在的模态与规律,为决策人员提供决策支持。

(三)电力大数据的数据处理技术

电力大数据的数据处理技术包括分布式计算技术,内存计算技术,流处理技术等。分布式计算技术解决大规模数据的分布式存储与处理,适用于电力系统信息采集领域的大规模分散数据源。内存计算技术解决数据的高效读取和处理在线的实时计算,解决大数据实时分析和知识挖掘的难题。流处理技术处理实时到达的、速度和规模不受控制的数据,应用于电力系统为决策者提供即时依据,满足实时在线分析需求。

(四)电力大数据的数据展现技术

电力大数据的数据展现技术包括可视化技术、空间信息流展示技术、历史流展示技术等。可视化技术广泛应用于电网状态的实时监控,显著提高了电力系统的自动化水平。空间信息流展示技术主要体现在电网参数与已有地理信息系统的结合上,有利于电网管理人员直观地了解设备情况,从而为其决策提供最新的地理信息。历史流展示技术体现在对电网历史数据的管理与展示上,可以绘制出数据的发展趋势并预测出未来的数据走势,可以模拟历史重大事件发生、演变,挖掘历史事件潜在的知识与规律。

三、大数据在智能电网中的应用

电力大数据的应用场合涵盖发、输、变、配、用、调等电力行业的各个环节,在电场选址、降低网损、光伏并网、电网安全监测、大灾难预警、电力企业精细化运营、电力设备状态监测等领域有非常强的可实现性。随着智能电网建设的进一步推进,大数据技术在智能电网中将发挥越来越大的作用。

四、结论与展望

本文探讨了大数据、云计算、智能电网三者之间的相互关系,阐述了电力大数据平台中四个核心的关键技术,即集成管理技术、分析技术、处理技术、展现技术。文章最后的典型应用,对电力企业开展相关研究具有参考价值。大数据技术在商业领域已经获得较为广泛的应用并创造出巨大的商业价值,但是在电力系统中的应用才刚刚起步,因此结合大数据的技术优势和电力系统的应用需求,发挥电力大数据的价值,将为智能电网的建设带来新的发展契机。电力企业应该牢牢抓住这个契机,从数据政策、人才培养、关键技术研发等层面,全面促成电力大数据技术的发展。

参考文献:

[1]孙柏林.“大数据”技术及其在电力行业中的应用[J].电气时代,2013(8):18-23.

[2]罗军舟,金嘉晖,宋爱波,等.云计算:体系架构与关键技术[J].通信学报,2011,32(7):3-21.

[3]姚宏宇.大数据与云计算[J].信息技术与标准化,2013(5):21-22.

大数据技术例4

大数据技术特点

依托大数据的软件得到了广泛的应用,随着大数据技术在各种行业中的运用,促进了信息化社会的发展。在大数据技术的基础上产生的Hadoop分布式处理的数据软件技术、Hhase数据库技术以及网络可视化软件在网络上得到了广泛的应用,

数据智能处理技术的运用,大数据技术主要是从海量的数据中提取有效的数据,并能对数据进行自动化的处理与分析。进而能够发展对人们有用的数据信息、知识等,进而能够解决生活中的实际问题。因此。在大数据的处理中广泛的采用了智能处理技术,来实现大数据的分析与管理,同时大数据与人工智能结合,能够自动实现对海量数据的分析。

分布式处理架构。分布式处理技术在大数据中的运用。改变了传统的数据处理方式,利用分布式处理系统能够快速的提取有用的数据,提高了数据的处理效率,在大数据分布式处理的架构中,主要包括分布式文件处理系统、分布式数据库处理系统以及分布式编程技术等。已经各个行业得到了广泛的应用。

非结构化数据处理技术。在云数据出现之后。以图片、视频、音频等形式出现的数据都是非结构化的数据。而且这种数据也越来越多。大数据采用非结构化的数据处理技术,能够有效的对非结构化的数据进行处理。提高了非结构数据处理的效率。

大数据测试技术分析

大数据测试技术流程图

大数据的测试需要配合相应的数据计算处理平台,才能够有效的实现对数据的挖掘与处理。它从系统的日志文件、流数据、社会数据以及事务性数据等海量数据中,采用数据提取工具提取相应的数据,并将它们传输到相应的预处理数据库中,在Hadoop中,数据进行相互操作与处理,然后将预处理过的数据送入到数据仓库或者大数据处理系统中对数据进行处理。大数据测试技术的流程如下图1所示:

大数据的测试流程分析

测试数据采集。大数据的数据采集主要是运用数据库来接收用户的数据信息,例如APP客户端数据信息。Web客户端数据信息、社会事务数据信息等方面的数据信息。而且客户端的用户可以通过大数据的数据库对信息进行收集、处理、提取与查询等工作,他可以从SOL数据库、Oracle数据库中保存的一些日常事务数据中提取有用的信息,除了从这些数据库中提取数据外,大数据除了技术还能够从网络数据库、Redis等数据库中采集数据。、

导人、预处理数据。大数据在处理数据的过程中会从多个数据库中采集数据,如何对这些海量的数据进行科学分析是不能解决问题的,需要将采集到的数据导入到一个大型的、集中的数据库。对这些数据进行预处理。剔除一些无用的信息。例如采用Sqoop和Flunm等工具就可以在大型数据库中对这些数据进行相互操作,进行预处理。在导入与预处理数据阶段导入的数据量十分巨大。每秒可以达到百兆或者千兆。

统计分析数据。在经过Hadoop预处理的数据之后,需要将这些大量的数据导入到一个大型的集中数据仓库中,在数据仓库中采用分布式技术对数据进行对比分析、汇总与提取之后,然后通过数据挖掘处理等方式对数据进行分析,提取数据的特征。在统计分析数据阶段明显的特征就是数据的查询量比较大。请求的命令也比较多,通过使用分布式技术来对其中的数据进行分析、汇总等。统计分析数据的特点就是导入量大。其查询数据量也大。请求较多。这里Hadoop是常用的数据统计分析工具。

大数据技术例5

在大数据发展的时代背景下,人们对于数据信息的收集和存储有了更为先进的飞跃,在数据信息总量呈几何倍数增长的态势下,数据信息来源并收集于各种传感移动设备和无线网络设备,这些数据信息的庞大已经远远超出人力所能组织、处理和分析的能力,与个别独立的小型数据而言,大数据之下的数据库技术具有更为综合的性能,可以将各种信息和数据关系,进行整合分析,构建多个独立数据库的巨型集合,并生成对海量数据进行处理应用的数据计算模型。

一、大数据的界定及特性

大数据发展背景下,它不再仅仅代表数据规模,更具有了一种划时代的意义和价值,它意味着对传统计算信息技术的挑战,是对大数据进行分析、处理的新技术和方法,是指在数据庞大到无法承受的状态下,用计算机软件工具进行信息数据捕捉、组织和分析处理的数据集合。大数据决策可以推动数据信息管理准则的重新定位,并在大数据分析和预测性分析不断发展的条件下,大数据会对各领域的管理决策产生颠覆性的影响。同时,大数据还可以推动新技术和新应用的开发,在大数据新技术不断被开发的基础上,数据信息的能量将会以不可预知的速度增大。

大数据的特性主要指以下几个方面的内容:(1)Volume。即大数据的庞大体量,一些个人计算机的容量已经到了TB量级,大型企业的容量更是接近了EB量级。(2)Variety。即大数据的类型。大数据总体而言有结构化数据和非结构化数据两大类,在新时代下,各种非结构化数据呈现迅速增长的态势,如:网络日志、视频、地理位置信息等。(3)Value。即大数据的价值密度。通常而言,数据总量与数据的价值密度呈反比关系。(4)Velocity。即大数据的处理速度。在未来迅猛发展的信息时代,对数据的信息处理速度将决定企业的效率和质量。

二、大数据发展背景下的数据库技术

1 键值存储技术

在传统的结构化数据之中,通常采用二维表数据模型,对结构化数据进行存储和分配,以实现不同二维表之间的链接和操作,然而,这种传统的数据库处理技术难以满足人类对数据库高并发读写的需求,也无法满足海量数据存储和访问的需求,使数据库具有较低的扩展性和可用性。

在大数据发展的背景下,产生新型的数据库――非关系型数据库,它通过键值与存储相对应,不同的元组可以拥有各自独立的字段,如果有增添键值的情况,则可以不再受到固定结构的禁锢,这种键值对存储的方式也称为KV存储方式,它借助于键值对的方式对大数据进行索引、组织和存储,可以有效地减少读写磁盘的次数,有更好的读写性能。

KV存储技术可以用于写操作和读操作,对数据进行简单查询和复杂查询,还可以对过期的数据进行定时的合并操作加以处理。

2 BigTable非关系型数据库

由于人类对非结构性数据的需求不断增加,由此也催生出了云数据库,它可以满足人们对非结构性数据的需求,可以支持多种数据模型,其中,BigTable非关系型数据库显示出一种多维的排序状态,它不是密集形式而是疏散状态的永久性的模型,利用行键、“列键”以及“时间戳”实现对图索引,它不存在各表之间的链接式操作,整个系统是采用一个“行键”索引的访问方式,来实现对大数据的组织和处理。

三、大数据发展背景下数据库技术的应用安全

1 巩固网络外部环境,确保数据安全支撑

大数据时代背景下,数据信息是一种重要的资产,要以数据库技术为手段,对网络外部环境进行安全建构,要在操作系统层进行漏洞管理和安全维护,并主要通过以下几项技术性内容加以实现:

1.1 科学合理地匹配网络资源。在大数据发展的趋势下,网络资源的科学合理匹配是安全运行和维护的前提,要利用网络资源管理程序,对其进行科学的调度和管理,使各种网络资源在良好、安全的运行状态下进行操作。

1.2 全面完善防火墙技术。在大数据处理和组织的过程中,要全面构筑和完善数据库系统的防火墙技术,它是网络安全的第一道屏障,可以确保数据库内部数据不受侵犯,对于未知的、非法的访问可以加以有效的拦截,在对数据库访问用户进行权限设定的前提下,对数据库访问并管理的区域进行有效的划分,通过防火墙过滤技术,对安全数据信息放行安全通道,而对于非法数据则予以拦截,从而避免数据库遭受外部的攻击和意外的损害。

1.3 全面运行入侵检测技术。除了数据库的防火墙技术之外,数据库还应当注重网络系统内部的安全攻击,由于防火墙技术侧重于对外部攻击的防范和拦截,然而,来自于网络系统内部的安全攻击则需要借助于入侵检测技术,在入侵检测技术的应用和运行状态下,数据库可以便捷而迅速地对恶意入侵进行检测并锁定,有效地对入侵行为或动作朝廷阻止,通过对入侵行为的追踪和记录,从而阻止试图入侵或病毒感染的异常活动,提高数据库系统的整体安全性能。

1.4 注重系统更新程序。数据库的系统漏洞有时也是一种致命的安全威胁,它有可能使不法侵入者进入而对数据库系统进行侵犯,因而,要安装数据库补丁程序和杀毒软件,并且还要对杀毒软件的杀毒引擎和病毒库进行及时的更新。

2 强化数据库的技术安全

在大数据发展背景下,要强化数据库安全技术和手段,(1)要选用安全可靠的文件系统,尽量选用NTFS文件系统和Unix系统,不仅可以提高数据库系统的访问性能,而且可以确保数据文件的安全。(2)对于数据库文件还要进行加密处理,可以采用库外加密和库内加密两种方式,根据数据信息的状况选取适宜的加密方式。(3)使用数据库视图技术,为需求用户提供不同的视图,在视图机制之下,限定和保密不同用户的访问范围,确保数据库应用的安全。(4)云安全。在大数据的发展背景下,“云安全”技术发展出了新兴的内容,可以运用并行处理、网格计算和病毒行为判断等策略,对数据库进行异常监测,并在自动分析和处理的前提下,对每一个客户端提供病毒解决方案,高效保证数据库系统环境的安全。

3 强化数据库管理与安全水平

数据库管理系统的安全是应用过程中的最后一道屏障,它主要可以采用两种方式实施安全管理,其一,采用数据库用户口令管理方式,对于数据库使用者采用口令和用户名的复杂性验证方式,以减少被攻击的几率。其二,对于数据库角色和权限管理的方式,它可以通过不同的权限管理方式,即:系统权限和对象权限,并在权限分配方案中,提高数据库管理的灵活性和安全性。

总而言之,在大数据发展背景下,数据库技术有了新的发展要求和机遇,各种结构化数据和非结构化数据相互融合和补充,使数据库技术不断地更新和优化,并在数据安全保障技术的实际应用下,实现对多源异构数据的存储和利用。

参考文献:

[1]何明,陈国华,梁文辉,赖海光,凌晨.物联网环境下云数据存储安全及隐私保护策略研究[J].计算机科学.2012(05)

[2]王珊,王会举,覃雄派,周@.架构大数据:挑战、现状与展望[J].计算机学报.2011(10)

大数据技术例6

目前,业界已经从对大数据重要性的认识阶段,发展到实践大数据必要性的战略实施阶段。中国市场在大数据概念产生的初期便已经步入大数据认知和探索阶段,并逐步成为全球市场最具行动力的市场之一。据IDC预测,2013年中国大数据市场将达到1.8亿美元。而赛迪顾问数据显示,到2016年,中国有望成为世界最大的大数据市场,市场份额达到8.03亿美元(约50亿人民币)。

数据改变世界

在感知化、物联化和智能化的交会下,世界的面貌即将改变。

2013年7月11日,IBM 2013技术峰会(IBM Tech Summit 2013)在京举行。牛津大学教授、大数据权威专家、《大数据时代》作者维克托·迈尔-舍恩伯格博士在会上表示:“大数据开启了一次重大的时代转型,正在变革我们的生活、工作和思维。中国是世界上最复杂的大数据国家,面临着充满变化的局面和无限的可能性,但是她同时也拥有最大的发展机会。因为在大数据环境下,充分的数据样本能够帮助企业揭示规律,更好的洞察和预测未来;另外,中国人凭借在数学和统计方面的优势,成为全球瞩目的大数据人才据点。我很高兴看到,在IBM和牛津大学年初的大数据调研中,中国市场有四分之一的企业已经步入大数据实践阶段。这表明中国不仅快速把握了创新的趋势,更有可能成为全球大数据领域的先驱。”

在大数据和分析领域,IBM已充分展现了在该市场的领先优势。近期,IBM被IT分析机构capioIT评为2013年亚太区商业智能和分析解决方案供应商行业第一名 。作为目前业界唯一能够集咨询、服务、软硬件综合实力,提供端到端全面整合解决方案的厂商,IBM相关产品和服务覆盖了“大数据”相关领域的各个阶段和各个领域。

IBM软件集团大中华区战略及市场总监吴立东认为:在大数据时代,企业既可以基于数据更好地做到以客户为中心,也可以利用大数据帮助企业整合后端业务,从而更好地为客户服务。

同时,IBM在全球的大数据实践已经深入到包括中国在内的全球市场的各个行业。包括电信、金融、医疗、零售、制造等全球30000家客户已在IBM大数据平台及大数据分析等技术和理念支持下获得收益。

前不久,IBM更是推出了大数据方面的多款产品和技术,大力提升了其分析产品的加速性能,简化了开发和运营,并推出了企业级别的开源Hadoop系统,同时推出了企业移动业务解决方案MessageSight,以及升级DB2 10.5等系列产品。在认知计算领域,更推出第一款面向消费者的Waston应用。其中,业内首创的分析加速技术BLU Acceleration,延续了传统的内存管理系统功能,能够帮助用户更快速地抓取关键信息,并将数据分析速度提高25倍。全新的“大数据专家”PureData for Hadoop系统能够大幅提升企业部署Hadoop的速度,同时降低部署难度。新版本企业级Hadoop产品InfoSphere BigInsights可以利用现有的SQL技术,更便捷地开发应用组件。

技术维新助力再现代化

随着IT技术的进一步发展,技术正在彰显着前所未有的特殊作用,人们对技术的追求也越来越迫切。

IBM全球副总裁兼大中华区软件集团总经理胡世忠表示:“最新的IBM全球CEO调研显示全球企业领导者将技术列为最重要的外部力量,而‘科技是第一生产力’一直被广大中国的企业家和技术人们奉为至理名言。IBM认为,在由新一代技术组成的智慧计算时代,中国的企业家们需要更为战略地思考信息科技的定位,将其运用到自身的变革转型之中。作为智慧地球的推进者,IBM正在引领商业和科技的创新,通过业务前线化实现以客户为中心的业务转型,通过企业内部全面整合大幅优化流程和运营,充分发挥最新的科技能力,携手合作伙伴帮助中国企业、组织和政府共同打造‘再现代化’发展的全新方式。”

大数据技术例7

随着国民经济的不断发展,人们生活水平的不断提高,居民购买汽车能力加强。我国的汽车保有量随之增加,在一些大城市机动车拥有量以超过10%的速度加速,机动车成为每个家庭代步的交通工具,在有限的交通资源配置下,机动车的增加缩短了道路使用周期,城市主干道路超负荷使用,违法停车致使道路不能合理使用、行车不文明、乘车环境不良等现象有增无减。大数据时代,如何改善当前的交通状况是本文阐述的核心内容。文章从以下几个方面来阐述:大数据的现状、大数据的概述、大数据的应用、智能交通的需求、智能交通体系的建立、数据技术。

1 大数据的现状

据权威数据显示,大数据应用在我国还处在起步阶段。但在未来三年,通信、金融领域将在大数据市场突破100亿元。市场规模在2012年有望达到4.7亿元,到2013年增至11.2亿元,增长率高达138%,2014年,保持了与2013年基本持平的增速,增长率为114.38%,市场规模达到24.1亿元,未来三年内有望突破150亿元,2016年有望达到180亿规模。自从2014年以来,各界对大数据的诞生都备加关注,已渗透到各个领域:交通行业、医疗行业、生物技术、零售行业、电商、农牧业、个人位置服务等行业,由此也正在不断涌现大数据的新产品、新技术、新服务。

大数据行业“十三五”规划主要目标:在2020年,将大数据打造成为国民经济新兴支柱产业并在社会各领域广泛应用,推动我国大数据产业稳步快速发展,基本健全大数据产业体系,推动制定一批相关大数据的国标、行标和地方标准,引进具备大数据条件的企业,建设大数据产业孵化基地,提高全国信息化总体水平,以跻身世界先进水平。

2 大数据的概述

2.1 大数据定义

大数据即巨量数据集合,目前还没有一个统一的定义。大数据的概念最早是由全球著名的管理咨询公司麦肯锡提出,2011年Mckinsey研究称,大数据通常是指信息爆炸时代产生的海量数据,在各个行业和业务领域,数据已经渗透到行业中并逐渐成为重要的要素,人们能够从海量数据中挖掘出有用的数据并加以应用。对大数据定义的另一说法是利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

随着信息时代的高速发展,大数据已经成为社会生产力发展的又一推动力。大数据被称为是继云计算、物联网之后信息时代的又一大颠覆性的技术革命。大数据的数据量巨大,一般10TB规模左右,但在实际应用中,多个数据集放在一起,已经形成了PB级的数据量,甚至EB、ZB、TB的数据量。

2.2 大数据的特点

2.2.1 数据量巨大

数据量级别从TB级别跃升到PB级别。随着可穿戴设备、物联网和云计算、云存储等技术的发展,用户的每一个动作都可以被记录,由此每天产生大量的数据信息。据有关人士估算:1986~2007年,全球数据的存储能力每年提高23%,双向通信能力每年提高28%,通用计算能力每年提高58%;2007年,人类大约存储了超过300EB

的数据;到2013年,世界上存储的数据能达到约1.2ZB。

2.2.2 数据类型多样化

即数据类型繁多,产生了海量的新数据集,新数据集可以是关系数据库和数据仓库数据这样的结构化数据到半结构化数据和无结构数据,从静态的数据库到动态的数据流,从简单的数据对象到时间数据、生物序列数据、传感器数据、空间数据、超文本数据、多媒体数据、软件程序代码、Web数据和社会网络数据[1]。各种数据集不仅产生于组织内部运作的各个环节,也来自于组织外部。

2.2.3 数据的时效性高

所谓的数据时效性高指以实时数据处理、实时结果导向为特征的解决方案,数据的传输速度、响应、反应的速度不断加快。数据时效性为了去伪存真,采用非结构化数据剔除数据中无用的信息,而当前未有真正的解决方法,只能是人工承担其中的智能部分。有些专员负责数据分析问题并提出分析后的解决方案。

2.2.4 数据真实性低

即数据的质量。数据的高质量是大数据时代重要的关注点。但在生活中,“脏数据”无处不在,例如,一些低劣的伪冒产品被推上市场,由于营销手段的成功,加之其他因素的影响导致评分很高。但是这并不是真实的数据,如果对数据不加分析和鉴别而直接使用,即使计算的结果精度高,结果都是无意义的,因为数据本身就存在问题出现。

2.2.5 价值密度低

指随着物联网的广泛应用,信息巨大,信息感知存在于客观事物中,有很多不相关的信息。由于数据采集的不及时,数据样本不全面,数据可能不连续等等,数据可能会失真,但当数据量达到一定规模,可以通过更多的数据达到更真实全面的反馈。

2.3 大数据的应用

2.3.1 医疗大数据

利用大数据平台收集患者原先就医的病例和治疗方案,根据患者的体征,建立疾病数据库并对患者的病例分类数据库。一旦患者在哪个医院就医,凭着医保卡或就诊卡,医生就可以从疾病数据库中参考病人的疾病特征、所做的检查报告结果快速帮助患者确诊。同时拥有的数据也有利于医药行业开发出更符合治疗疾病的医疗器械和药物的研发。

2.3.2 传统农牧业大数据

因为传统农牧业主要依赖于天气、土壤、空气质量等客观因素,因此利用大数据可以收集客观因素的数据以及作物成熟度,甚至是设备和劳动力的成本及可用性方面的实时数据,能够帮助农民选择正确的播种时间、施肥和收割作物的决策。当农民遇到技术市场问题可以请教专业人员,专业人员根据实时数据做出科学的指导,制定合理的优化决策,降低农民的损失成本,提高产品的产量,从而为转向规模化经营打下良好基础。

2.3.3 舆情大数据

利用大数据技术收集民众诉求的数据,降低社会,有利管理犯罪行为。通过大数据收集在微博的寻找走失的亲人或提供可能被拐卖人口的信息,来帮助别人。

3 智能交通的需求

随着城市一体化的快速发展,新时代农民工涌入大城市,促使城市人口的增大不断给城市交通带来问题。究其原因主要有:一是机动车的迅猛发展导致城市主次干道的流量趋于饱和,大量机动车的通行和停放占据主干道路。二是城市交通的道路基础设施供给不平衡导致路网承担能力差。三是停车泊位数量不足导致机动车使用者不得不过多依赖道路停车。四是公共设施的公交车分担率不高导致交通运输效率降低。五是城市的土地开发利用与道路交通发展不均衡。六是行人和机动车主素质不文明导致道路通行效率降低。为此,智能交通的出现是改善当前城市交通的必要需求,能够在一定程度上有效的解决城市交通问题。

大数据是如何在智能交通的应用呢?可以从两个方面说明:一是对交通运行数据的收集。由于每天道路的通行机动车较多,能够产生较大的数据,数据的采集并发数高,利用大数据使机动车主更好的了解公路上的通行密度,有效合理对道路进行规划,可规定个别道路为单行线。其二是可以利用大数据来实现主干道根据道路的运行状况即时调度信号灯,提高已有线路运行能力,可以保障交通参与者的生命和提高有关部门的工作效率,降低成本。对于机动车主可以根据大数据随时的了解当前的交通状况和停车位数量。如果交通拥堵,车主则可选择另一路线,节约了车主的大量时间。

4 智能交通体系的建立

4.1 智能交通建立的框架

主要包括感知数据层、软件应用平台及分析预测和优化管理的应用。物理感知层主要是采集交通的运行状况和对交通数据的及时感知;软件应用平台主要整合每个感知终端的信息、将信息进行转换和处理,达到支撑分析并做出及时的预警措施。比如:对主要交通干进行规划,对频发交通事故进行监控。同时还应进行应用系统建设的优化管理。比如:对机动车进行智能诱导、智能停车。

智能交通系统需要在各道路主干道上安装高清摄像头,采用先进的视频监控、智能识别和信息技术手段,来增加可管理的维度,从空间的广度、时间的深度、范围的精细度来管理。整个系统的组成包括信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、电子警察系统、信息采集系统、信息系统。每个城市建立智能交通并进行联网,则会产生越来越多的视频监控数据、卡口电警数据、路况信息、管控信息、营运信息、GPS定位信息、射频识别信息等数据,每天产生的数据量将可以达到PB级别,并且呈现指数级的增长。

4.2 智能交通数据处理体系的构成

主要包括交通的数据输入、车辆信息、道路承载能力等的数据处理、数据存储、数据检索。其中交通数据输入可以是静态数据或者是动态数据。数据处理是针对实时数据的处理。数据主要存储的是每天采集的巨大数据量。为了从中获取有用的数据,则需要进行数据查询和检索,还要对数据进行规划。

5 大数据技术

5.1 数据采集与预处理

数据采集与预处理主要对交通领域全业态数据的立体采集与处理来支撑交通建设、管理、运行决策。采集的数据主要是车辆的实时通行数据,以实现实时监控、事先预测、及时预警,完成道路网流量的调配、控。这些数据获取可以采用安装的传感器、识别技术并完成对已接收数据的辨析、转换、抽取、清洗等操作。

5.2 数据存储与管理

大数据的存储与管理是把采集到的数据存放在存储器,并建立相应的数据库,如关系数据库、Not Only SQL即对关系型SQL数据系统的补充。利用数据库采用更简单的数据模型,并将元数据与应用数据分离,从而实现管理和调用。

5.3 数据分析与挖掘

数据分析及挖掘技术是大数据的核心技术。从海量数据中,提取隐含在其中,人们事先未知的,但又可能有用的信息和知识的过程。从复杂数据类型中挖掘,如文本、图片、视频、音频。该技术主要从数据中自动地抽取模式、关联、变化、异常和有意义的结构,可以预测模型、机器学习、建模仿真。从而实现一些高级别数据分析的需求。

5.4 数据展现与应用

数据技术能够将每天所产生的大量数据从中挖掘出有用的数据,应用到各个领域有需要的地方以提高运行效率。

6 结束语

大数据时代,能对智能交通信息资源进行优化配置,能够改善传统的交通问题。对非机动车主而言,利用大数据可以更好的规划线路,更好的了解交通状况,在一定程度上可以对问题预先提出解决方案,起到节省大量时间、额外的开支。同时对交管部门而言,能够在限的警力情况下合理配置人员资源和交通设备,主干道路在高峰期出现的问题能够合理利用大数据信息配置资源,在刑事案件侦查中也能发挥更重要的作用。

大数据技术例8

2传统关系数据库面临的挑战

基于二维关系模型的数据库在数据管理的发展历程中是一个标志性的时期,数据结构化存储,冗余较低、程序和数据具有一定的独立性、易扩充等特点。随着Internet技术的发展,涌现出半结构化、非结构化数据,对这些结构复杂的大数据的高效实时多维分析的需求越来越多。传统的关系数据库从70年展至今,虽然应用范围较广技术较成熟,但在处理海量数据方面还存在许多不足。(1)关系模型结构制约了快速访问大数据的能力。在二维关系表中,依据属性的值来检索相应的元组,受这种方式的束缚,在检索数据过程中,将耗费一定的时间,从而使访问数据的时间较慢。在存储对象设计上虽然可以使用分区的方法,提高数据访问冲突,但在大量数据的前提下,分区技术改善的性能较微弱。(2)处理大数据的灵活性不足。在应用系统中,用户的各种查询需求经常发生变化,不受时间和操作对象的约束,用户希望随时随地都能快速得到反馈结果。关系型数据库需要专门的数据库维护人员对用户的查询要求进行优化处理,不能及时的反馈给用户查询结果,这使得使用关系数据库存储数据的企业不具备对大数据的快速响应能力。(3)处理复杂结构数据能力较弱。关系型数据库对现实数据的处理常见类型为字符、数值等,对于半结构化和非结构化数据的处理只限于二进制代码文件的存储,而现今用户对复杂结构数据的要求上升为识别、检索和多维分析,如何处理占总数据量85%的非结构化数据,是许多关系数据库产品需要解决的问题。(4)存储维护管理PB级数据导致成本不断增加。数据量递增使得企业在硬件存储上投资不断增加,虽然存储设备的投入成本在逐步降低,但总成本却在逐步提高。此外,大量复杂结构的数据维护工作也给数据库管理员增加了很多负担。

3大数据库技术

随着大数据技术的日趋完善,各大公司及开源社区都陆续了一系列新型数据库来解决海量数据的组织、存储及管理问题。目前,工业界主流的处理海量数据的数据库有四种,分别是列式数据库、内存数据库、键值数据库及流式数据库。

3.1列式数据库

采用列族存储数据,将经常被使用的数据放到一个列族中,例如,经常会查询学生的学号和姓名,而不是专业,这样把学号和姓名放到一个列族中,专业放到另一个列族中,该数据库通常用来存储分布式大数据,HBase是列式数据库的典型代表。

3.2内存数据库

对数据库中所有数据的操作都在内存中完成,一般数据库也有一定的缓存机制,对大部分数据的操作都包含从外存到内存的读取,这一过程在很大程度上降低了系统的性能。由于在内存中的读/写是以纳秒为单位的,所以内存数据库的性能极高,Spark是内存数据库的典型代表。

3.3键值数据库

该数据库主要借助哈希表的结构,使用一个特定的键和一个指向特定数据的指针,利用键来完成对数据库中数据的添加、删除和查询操作,这种结构具有很好的扩展性,使系统具有较高的性能,Memcached、Redis、MemcacheDB都是键值数据库的典型代表。

3.4流式数据库

基本理念是数据的价值会随着时间的流逝而不断减少,因此,需要使式数据库来实现流式计算。流式计算处理模式是将源源不断的数据视为数据流,它总是尽可能快速地分析最新的数据,并给出分析结果,也就是尽可能实现实时计算。典型流式数据库:SparkStreaming、Storm。

4大数据SQL

大数据技术例9

大数据技术,是指大数据的应用技术,涵盖各类大数据平台、大数据指数体系等大数据应用技术。2018年,利用大数据技术打造指引行业发展的风向标,成为天津平行进口汽车行业向智能经济发展迈出的重要一步。天津市商务局机电产业处处长李建介绍了天津自贸试验区平行进口汽车大数据平台的进展情况及相关工作。大数据指数体系助力行业发展。

(来源:文章屋网 http://www.wzu.com)

大数据技术例10

水库还是沼泽由分析能力决定

大数据的多样性决定了数据采集来源的复杂性,而如果不加以正确的引导与分析,则可能让你迷失其中。诚如Teradata天睿公司首席技术官Stephen Brobst(宝立明)的表态,当数据积累到后期,会让你深陷其中如同沼泽,也可能变成水库,在其中可以游刃有余的钓到你期望的“鱼”,变成水库还是沼泽则由数据分析能力决定,善加利用则会获益良多。

现在的物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。而且,随着全球范围内个人电脑、智能手机等设备的普及和新兴市场内不断增长的互联网访问量,以及监控摄像机或智能电表等设备产生的数据爆增,如何高效应用这些数据、产生更高价值是非常值得深入思考的。

在“2015 Teradata大数据峰会”上,据Teradata天睿公司首席技术官Stephen Brobst(宝立明)的分析,预计到2018年,90%已经部署的数据湖将被为了未知的使用所获取的信息资产所淹没,从而失去价值。如果没有充分的数据资产创建方式信息,将使得资产价值大幅降低,而完善的生态系统方案将成为行业标准和最佳实践,全新的Hadoop技术、开源和云端环境成为行业趋势。

据Teradata天睿公司联席总裁Hermann Wimmer的介绍,Teradata凭借一流的分析解决方案,与公认的行业领军企业携手合作,比如光大银行、招商银行、西班牙电信、沃达丰、中国移动、台湾远传电信等企业都是Teradata天睿公司的合作伙伴。凭借独特的整合解决方案,能够帮助客户洞悉关键信息,根据有价值的洞见付诸行动,并收获到前所未有的价值。而且Teradata将继续加大在数据分析生态系统中的投资,带领全球企业完成数字转型,增强引领数字时代的领导优势。

Teradata天睿公司大中华区首席执行官辛儿伦(Aaron Hsin)表示,Teradata在所有主要行业中拥有超过 2450 个实施案例,凭借超过 30 年的最佳做法和专业知识,为客户提供数据仓库解决方案。大中华区已经成为Teradata全球增长最快的市场,是仅次于美国的第二大市场,Teradata在大中华区都实现了两位数的增长率,并将继续对大中华区进行大力投资。

从行业的角度来看,Teradata有31%的业务收入来自金融行业,零售业和通信业也呈现出很大的增长幅度,医疗及政府领域也保持了快速增长。Teradata期望引领更多行业和企业真正认识到数据分析的价值,释放数据的潜在价值和业务驱动力,提高企业的核心竞争力以实现基业长青,并最终助力实现经济和社会的转型和发展。

从某种意义上说,数据将成为企业的核心资产,现在的信息发展迅猛,结合物联网向万物互联的时代迈进,互联网的应用由消费互联向产业互联网+演进,生产制造向服务型制造演变,通信业结合价值数据与高速网络提供创新业务与服务,加之政策层面的推动,需要思考如何实时地通过各种数据库管理系统来安全地访问数据,如何通过优化存储策略评估当前的数据存储技术并改进、加强数据存储能力,最大限度地利用现有的存储与分析进行投入。

如何才能规避可能摧毁企业的财务和运营风险? 如何优化运营,防止欺诈和威胁?如何创建新业务模式?大数据分析都有一套行之有效的模式与工具。

可穿戴设备

亦是不可遗漏的重点

针对目前火热的可穿戴设备,大数据亦是大有用武之地,可穿戴设备产生的身体数据如何高效应用就是范例。越来越多群体开始关注健康,自然也希望通过更好的形式来了解自己的运动状况。目前,市场中不乏运动监测设备,形式也是多种多样的,包括手环、手表甚至是智能服装。事实上,了解它们之间的区别,才能更好地针对自己的情况进行选择;解析他们的数据,才能够更合理高效的使用可穿戴设备。

比如,只关注日常行进步数、睡眠状态,选择内置加速度及陀螺仪的设备就能够满足需求;如果想要进一步了解运动时的心脏压力,则需要购买配备心率传感器的手环和手表;喜欢越野运动、专业跑步训练、冲浪等户外运动的朋友,则需要一款内置GPS的防水运动手表;对于健身、塑型为主的运动来说,就需要选择配有肌肉监测功能的智能运动服装。而这些设备的数据会反馈给你,使得你可以与实时健康状况信息持续进行无缝交互,告知你是否需要按时看医生、是否需要服用药物、是否需要进行身体状态的调整。

可穿戴设备产生数据差异的关键基本上是由传感器决定的,每种传感器的分布都有固定的产品规律,大数据的关键就在与通过自我追踪获得对自己最真实的认识,以便做出更明智的个人决策。

得数据者得未来

我们知道,IBM、苹果、谷歌都早已开始挖掘大数据的价值,诸如IBM与苹果在健康医疗大数据方面展开合作,推出名为“Watson Health”的健康医疗项目。另外,传统电子商务交易平台企业早已纷纷“抢滩”移动电子商务,数据平台建设成为本轮电商竞争的重头戏。京东豪掷40亿投建两大云计算数据中心,阿里巴巴更将云计算作为集团最重要的业务,马云已经押宝十年之后的云与大数据。数据资源已经成为电商的核心资源,不仅仅如此,智能硬件风潮的兴起,亦使得大数据成为大家关注的焦点,现在的智能硬件大都会留有入口,并匹配有云端服务。

大数据技术例11

引言

随着科技的日益进步,计算机的相关技术被引用到各个领域。智能灌溉系统是融合传感器技术、自动控制技术、计算机技术、无线通信技术与移动终端控制等多种高新技术,自动采集光照、温度、土壤水分、空气湿度等信息,通过无线通信技术传输给信息管理系统,自动控制喷水灌溉、通风除湿等设备,从而调节环境参数。智能灌溉系统应用大数据策略,在云服务平台进行数据分析处理,以关联图表显示历史记录,为农业专家提供决策支持,同时获取国家气象局天气预报信息,根据天气状况和作物需要智能调节喷水灌溉策略,调整用水量,实施精准灌溉,提高水资源利用率。智能灌溉系统支持多种应用场景如智能花园、温室大棚、高尔夫球场等,提供Web版、桌面版、移动终端3种管理系统供用户使用,使其随时随地操作管理。智能灌溉系统采用WiFi技术实现远程无线通信,采用Zigbee技术构建底层无线传感网,节能低耗,能够根据应用场景规模灵活增加无线节点模块,不会因为监测点过多而使布线复杂,降低系统维护运营成本。

1职能灌溉系统总体结构

系统总体结构如图1所示。系统实验室模型及部分实物操作界面如图2所示。

2智能灌溉系统功能模块简介

本系统根据物联网三层体系结构设计,功能模块划分及其主要设计内容如下表1所示。

3智能灌溉系统简易操作说明

下面主要说明桌面版管理系统、Web版管理系统、移动终端版管理系统的操作使用方法。3.1桌面版管理系统桌面版管理系统主要功能模块有:操作控制模块、数据与命令查看模块。其中,操作控制模块的功能如下:这部分提供了实时场景的选择,区域实时数据的显示,区域手动操作和自动控制的设置。可以通过输入服务器地址,进行场景的选择,然后对该场景下的区域进行手动控制,实时控制底层终端控制设备,也可以开启自动控制,输入要自动控制的参数范围,系统会根据输入的控制参数,进行自动控制。3.2Web版管理系统3.2.1登录界面系统的开始页面,界面简洁友好。只有获取权限才能进入控制系统。3.2.2首页这部分主要是显示项目的一些图片,页面下方是项目的介绍。3.2.3监控中心这是本程序的核心部分,在这个页面中,能够通过仪器表查看到当前的数据,并提供了天气预报,能够根据需要设置自动控制的外界条件,或是进行人工的操作处理。上述界面中,上面部分是最近一次采集到的数据,以仪器表的形式生动地展示出来,左下角是自动控制时的温湿度,光照强度的控制范围,在这里输入要控制的范围后,系统会根据用户输入的范围自动调控。右下角是系统的自动控制区域,在这里用户可以进行手动控制。3.2.4数据分析查看将历史记录以关联图表的形式展示出来,一目了然,为农业专家进行数据分析提供决策支持,最终确定适于作物生长的控制策略。3.2.5操作记录将用户的操作即自动操作记录下来,便于查看。3.2.6退出程序退出后,系统的工作模式不变,保持原状。点击退出后,登录状态被重置,并跳转到登录页面。3.3移动终端管理软件3.3.1登录部分这个是手机端的登录界面,简洁明了,选择联网模式,输入账号密码以及当前的服务器地址即可登录,可以选择保存密码,方便下次登录。3.3.2数据查看中心选择当前环境模式和区域,即可查看当前的实时数据。3.3.3控制中心选择当前的场景模式和区域,就可以对该区域进行控制,可以根据需要输入环境参数,设置自动控制的范围,也可直接进行手动控制。