[行业分析]大数据时代的大数据管理研究

前言：大数据概念的提出可以追溯至2008年，短短9年间，信息时代数据爆炸的情况导致大数据被广泛应用在各个行业、领域，与此同时，由于大数据本身依托于互联网，对于其安全性等方面的担忧又一定程度上制约了该技术的继续推广。大数据本身等同于一个巨大的资源共享池，利弊共存，分析大数据时代下的大数据管理，是进一步完善、推广该技术的基础措施。

一、大数据时代大数据管理的必要性和特征

1.1  大数据时代大数据管理的必要性

提及大数据时，往往还会涉及到其他技术，其中最为常见的是云计算。就大数据本身来说，其是一个海量数据的集合，比如某大型公司统计市场数据，可能需要处理累积5年以上的海量信息，这样多的数据只能通过云计算进行处理，而应用云计算很可能涉及到第三方，数据安全问题也就摆在眼前了。对大数据管理的最主要目的是保证数据资料的安全，尤其是在互联网广泛应用的时代。此外，大数据管理的另一个主要目的是便于调取和查看数据资料，以制度化的方式进行数据管理工作，以做到保证质量、提升效率。

1.2  大数据时代大数据管理的特征

大数据管理的主要特征是总体的智能化、细节的精细化。具体而言，智能化是指应用现代科技进行数据筛选、保存等基础管理工作，精细化是指对所有数据进行归类、设置检索方式等具体性管理工作，以上两项内容共同构成了大数据管理的基本特征。以智能化处理为例，随着现代科技的不断发展和应用，很多行业应用智能化技术进行工作，比如常见的智能电表，其可以进行基础的计费，也能对用户阶段时间内、固定时间内的电量使用情况进行记录，生成数据，多个智能电表收集的数据则汇总为大数据，具备较高价值，该过程完全在智能操作下进行，这体现了大数据管理的智能化特征。

二、大数据时代大数据管理的模式和技术支持

2.1  大数据时代大数据管理的模式

大数据时代下，大数据管理面临的基本情况是海量数据的产生以及后续处理，这意味着传统的数据管理模式已经无法适用，目前来看，大数据管理的新模式应该是基本的“人机结合”模式[1]。

20世纪50年代，计算机技术的发展主要服务于科学计算等工作。同时，当时的技术条件下，没有磁盘、U盘等先进设备，将计算结果进行全面的保存和整理，只是依靠纸带、卡片等形式进行记录。由于当时数据的内容和计算结果等并不大，这一方式还相对可行，但现代条件下，数据爆炸的情况已经非常明显，只靠人工不能满足管理需求，机器管理的应用既是必要的，也是现实所迫。例如上一小节中所述智能电表，其基础的数据收集是由设备自动进行的，但当对数据进行汇总管理时，又需要人员介入，分析、拆解数据，这即是基本的“人机结合”管理模式。

2.2  大数据时代大数据管理的技术支持

存储技术、云计算技术、计算机技术是大数据管理的三个主要支持型技术，其中云计算技术和计算机技术目前已经得到了广泛的应用，而且随着大数据发展也在不断进步，需要注意的是存储技术。当前来看，包括阿里巴巴、中国移动等大型企业每个月产生的数据量是以PB计算的，而未来智慧城市建设、物联网的广泛应用还会使社会生产、生活产生的数据量更为庞大，如何对其进行存储是需要提前考虑的。如果采用硬盘保存的方式，需要投入大量磁盘，并进行归类和保存，如果磁盘稍有损坏，恢复十分费时费力，而不断积累的磁盘也会带来后续区分方面的困扰，此外，当大容量磁盘出现，此前应用的小容量磁盘数据是否要移动到大磁盘中？怎样快速移动？这些都是需要存储技术支持的。

三、大数据时代大数据管理的具体方式

3.1  管理的架构

对大数据进行管理，首先要建立基本架构作为支持。抛开安全等因素，大数据本身存在的基本意义是具有“价值”，价值的具体体现则要借助其他方式和技术，在建立大数据管理架构时，必须充分考虑以上两个因素。在这一要求下，管理架构的建立可以采用数据收集—筛选—提供—更新的基本架构。具体而言，当数据产生时，首先不对其进行完善的存储，而是先进性粗加工，筛选重要信息，之后进行精加工，提取核心信息，再提供给需求方，之后重复这一步骤，不断对数据进行更新。以智慧城市交通管理为例，一个智慧城市要不断了解城市交通的情况，以便进行规划管理。首先通过大量摄像头等数字设备和文字记录收集资料，之后设定某一标准，由系统对海量数据进行筛选，比如“10月份通行的汽车数目”，粗加工完成后，再进行精加工，设定标准“10月1号通行的汽车数”，筛选数据，以此方式实现对数据的管理加工。处理完成后，将提炼的核心数据交给相关人员，作为整修道路的依据，并在后续工作中重复这一步骤。数据收集—筛选—提供—更新可以作为未来大数据管理的基本架构[2]。

3.2  安全管理

安全管理是大数据管理的主要内容、重点内容，当前信息时代，信息的价值非常重要，大数据的海量数据和被提取后的核心数据均具备一定价值，在管理中必须加以重视。可行的基本安全管理措施有两个，一是利用现代科技防范木马、病毒，二是通过授权机制防范非法人员的侵犯。具体策略是建立防火墙、进行实时监测。

3.3  产业化管理

大数据技术的应用前景广阔，很可能形成一个商业化程度较高的产业。网络环境下，数据安全面对的最大威胁毫无疑问是远程木马，由于大数据本身利用的是互联网，由互联网建立一个巨大的资源共享池，共享池越大，数据资料就越丰富，包括涵盖的范围、信息的总量等，每一个连接节点都可以对资源池中的信息进行下载，也都可以上传数据，这意味着远程木马可能随着下载的一瞬间侵入下载端。不法分子可能借此从事非法活动，这要求相关部门尽快进行立法工作，同时加大网络管理的力度，从而保证大数据产业得以良性发展。

四、总结

通过分析大数据时代的大数据管理，了解了相关基本内容。目前来看，对大数据进行管理，可以保证数据质量、提升工作效率。在云计算、存储技术和计算机技术的支持下，大数据管理得以拥有具体开展的空间。管理架构方面，可以采取数据收集—筛选—提供—更新的模式，采用人机结合的方式进行具体管理，同时，还需注意安全问题和产业化管理等问题，以保证大数据管理工作的有效性。后续工作中，应用上述理论也有利于相关工作的具体开展。

参考文献：

[1]王传东.基于大数据时代的大数据管理研究[J].电子世界，2017，(02)：171+173.

[2]马凯航，高永明，吴止锾，李磊.大数据时代数据管理技术研究综述[J].软件，2015，36(10)：46-49+56.

[3]石峻峰，周俐霞，付双双.大数据时代数字档案资源管理研究现状与趋势分析[J].信息安全与通信保密，2014，(09)：87-89+93.

[4]数据管理中通信与互联网技术的应用分析[J].李绕娟.黑龙江科技信息.2015(23)

[5]从科学数据素养角度剖析国内外高校科学数据管理[J].朱大丽，介风.图书馆学研究.2015(16)

[6]澳大利亚科学数据管理实践[J].张红亮.图书馆学研究.2014(01)

[7]图书馆在科学数据管理中的角色定位研究[J].樊俊豪.图书情报工作.2014(06)