地理国情大数据基本统计的多进程并行计算Multi-process parallel computing of basic statistics under Big Data of national geographic conditions
董春,袁卫平,亢晓琛,张玉,乔庆华
摘要(Abstract)：
地理国情监测数据具有精度高、数据量大等特性,随着新型硬件构架(单机多核、集群等)计算机资源能力的不断升级,传统的数据处理技术和串行计算技术难以满足高精细化地理国情大数据处理的需求。对此,本文提出了一种基于TPL和管道技术的多进程并行计算方法。通过实例验证,在同一台计算机上该方法比串行方法的计算效率提高了12倍;并且在此基础上,实现了计算节点的负载均衡及可扩展,满足了多核应用,有效地提高了地理国情监测大数据处理的实际效率。
关键词(KeyWords)： 地理国情基本统计;并行计算;大数据;多进程;管道技术
基金项目(Foundation): 国家科技支撑计划项目(2012BAH28B03)
作者(Author): 董春,袁卫平,亢晓琛,张玉,乔庆华
DOI: 10.16251/j.cnki.1009-2307.2014.05.003
参考文献(References)：
- [1]眭俊华,等.多核多线程技术综述[J].计算机应用,2013,33(S1):239-242,261.
- [2]GRAMA A,GUPTA A,KARYPIS G,et al.并行计算导论[M].张武,等译.北京:机械工业出版社,2005:92-99.
- [3]王朋宇,陈云霁,沈海华,等.片上多核处理器存储一致性验证[J].软件学报,2010,21(4):863-874.
- [4]陈锐忠,齐德昱,林伟伟,等.非对称多核处理器上的操作系统集成调度[J].计算机学报,2012,35(3):616-626.
- [5]汪前进,高勇,李存华.基于多核处理器的多任务并行处理技术研究[J].计算机应用与软件,2012,29(7):141-143,153.
- [6]张白一,崔尚森.面向对象程序设计——Java[M].西安:西安电子科技大学出版社,2003:259-264.
- [7]杨可,樊晓桠,王党辉.多核多线程处理器二级Cache预取结构的设计[J].计算机工程与应用,2009,45(9):69-71,91.
- [8]李珊珊,钱大琳.基于多核并行计算技术的混合交通微观仿真[J].中南大学学报(自然科学版),2012,43(12):4931-4938.
- [9]李妮,等.多核并行计算技术在景象匹配仿真中的应用[J].系统工程与电子技术,2010,32(2):428-432.
- [10]殷园,等.多核并行计算技术在风险监测系统中的应用[J].核科学与工程,2011,31(2):175-179.