测绘科学

2016, v.41;No.211(01) 89-93+75

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

一种大规模空间数据流式并行处理方法研究
Study on a streaming parallel method for massive spatial data processing

刘纪平;吴立新;董春;张福浩;亢晓琛;

摘要(Abstract):

针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重叠,使传统并行空间计算方法中的性能提升瓶颈得到显著缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内存使用率得到降低,进一步提高了具体地学算法的适用性。最后以地理国情普查基本统计分析中地表面积计算为例进行验证,结果表明:该算法的计算效率与内存使用率相对于直接并行方法均获得明显改善,且空间数据流式并行处理方法与具体地学算法耦合度低。该方法已成功应用于多个其他统计分析算法中。

关键词(KeyWords): 流式并行方法;大规模空间数据处理;空间计算;I/O过程;地表面积

Abstract:

Keywords:

基金项目(Foundation): 测绘地理信息公益性行业科研专项经费项目(201512032);; 国家863计划项目(2011AA20302);; 国家自然科学基金重点项目(40930104);; 辽宁省自然科学基金资助项目(2015020581)

作者(Author): 刘纪平;吴立新;董春;张福浩;亢晓琛;

Email:

DOI: 10.16251/j.cnki.1009-2307.2016.01.017

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享