扫描二维码关注“博士后招聘网”微信订阅号或微信搜一搜“博士后招聘网”关注我们。
当前位置: 博士后招聘网 > 科研动态 > 平方公里阵列射电望远镜数据处理能力研究获进展

平方公里阵列射电望远镜数据处理能力研究获进展

信息来源:中国科学院上海天文台 | 作者:admin | 时间:2016-04-19 16:53

【简介】博士后招聘网整理分享“平方公里阵列射电望远镜数据处理能力研究获进展”,浏览查询更多博士后招聘计划请访问博士后招聘网

近年来,全球最大的天文学国际合作项目“平方公里阵列射电望远镜(Square Kilometre Array,简称SKA)”已被列为我国重点发展的大科学工程。SKA取得预期科学成果的关键在于科学数据处理能力。SKA超大规模的数据运算遭遇到I/O吞吐和数据实时存储的限制等重大瓶颈问题,常规的数据运算解决方案是采用I/O并行化来提高数据读取速度,但对于SKA产生的海量数据来说,大规模并行存储底层I/O技术成为SKA科学数据国际工作组亟待攻克的重大技术难题之一。

在中国科学院院士武向平指导下,中国科学院上海天文台研究员安涛带领的SKA科学数据处理团队和澳大利亚国际射电天文研究所(ICRAR)教授Andreas Wicenec领导的团队合作开发基于ADIOS的并行Casacore Table Data System (CTDS)。合作团队开发了Adios Storage Manager (AdiosStMan)数据存储管理系统以作为中间件来实现天文数据处理软件与并行化I/O的连接,相对于已有的主流射电天文数据处理系统,AdiosStMan在数据底层采用了全新的I/O并行机制以实现高吞吐量的海量数据存取,从而有效地降低了在开发SKA科学数据处理器原型中所遇到的I/O瓶颈,并解除了当前射电天文数据处理系统在SKA数据处理管线系统中进行二次开发存在的限制,为SKA大规模并行存储底层I/O技术的开发提供了必要的经验。

在该项合作研究中,上海天文台承担了AdiosStMan后期的升级任务,本次升级最大的改进是将最大可写入Casa数据表的尺寸提高到TB量级。目前已经完成了改进版本并在澳大利亚Pawsey高性能计算中心的Magnus超级计算机上完成了性能测试,本次测试中可写入Casa数据表的尺寸已达到324GB(其中单节点的内存为128GB),在目前硬件平台上实现了100Gb/s量级的数据写入。该升级版本使用了多次打开ADIOS文件列的方法,从而有效地解决了原有版本对物理内存空间依赖的问题,突破了长期以来困扰的大规模数据并行读写的难题,使得AdiosStMan从概念验证阶段上升至实用样机阶段,该技术已达到国际领先水平。合作团队中的青年技术骨干劳保强和王若楠已将该改进版本发布至GitHub的SKA科学数据处理共享平台,得到了国际同行的重点关注。

请您在邮件申请时在标题注明信息来自:博士后招聘网-boshihoujob.com,电话咨询时说明从博士后招聘网(www.boshihoujob.com)看到的博士后招聘信息。

声明:凡本网注明“来源:XXX”的文/图等稿件,本网转载出于传递更多信息及方便产业探讨之目的,并不意味着本站赞同其观点或证实其内容的真实性,文章内容仅供参考。如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任。作者如果不希望被转载或者联系转载等事宜,请与我们联系。邮箱:boshihoujob@163.com。

博士后招聘网微信公众号

博士后招聘网微信公众号

扫描二维码关注公众号,ID:boshihoujob

发布博士后招聘信息 加入博士人才库

博士&博士后社群

  • 博士后招聘1号群
    799173148

  • 博士后招聘2号群
    373726562

  • 哲学博士群
    934079716

  • 经济学博士群
    945762011

  • 法学博士群
    934096817

  • 教育学博士群
    934118244

  • 文学博士群
    934106321

  • 历史学博士群
    945803407

  • 理学博士群
    934102752

  • 工学博士群
    945827064

  • 农学博士群
    114347294

  • 医学博士群
    729811942

  • 管理学博士群
    797229360

Copyright©2018-2023 博士后招聘网(boshihoujob.com) 版权所有 皖ICP备18007485号-1 皖公网安备 34070202000340号

本网站所有资讯内容、广告信息,未经书面同意,不得转载。

博士后招聘网(www.boshihoujob.com)专注服务于海内外博士后研究人员。

博士后招收信息发布请联系邮箱boshihoujob@163.com,QQ:878065319,微信号:bshjob001。
联系时请注明单位名称(如:单位名称+博士后招收信息发布)。