基因组所开发基于Spark的大数据系统发育建树工具CloudPhylo

生命与健康大数据中心 徐行健  2016-11-1


构建系统发育树是分子进化研究中分析物种间进化关系的基础步骤与重要环节。随着生物大数据时代的到来,传统的建树工具在使用大数据集构建系统发育树时需要消耗更多的计算资源且运行时间超长,使得科研工作者无法快速高效地进行分子进化分析。为此,生命与健康大数据中心(BIG Data Center;http://bigd.big.ac.cn)利用Spark云计算技术,于近期开发了一款适用于大数据集的系统发育树构建工具——CloudPhylo。Spark是一种新的分布式云计算框架,它实现了MapReduce分布式并行算法。基于Spark框架的程序在运算过程中可高效地将中间输出结果保存在内存中,大大降低了因为频繁读写文件造成的损耗。因此,与传统的Hadoop框架相比,Spark能更好地应用于需要反复迭代的大数据分析任务。

CloudPhylo是目前国际上首款针对大数据集开发的系统发育建树工具,同时也是国内首个使用Spark云计算技术开发的生物信息学分析软件。在应用于模拟和真实的大数据集构建系统发育树时,CloudPhylo均表现出了比传统建树软件更高的运行效率和更大的并行加速比。

该工具已经部署在BIGD云平台Qomo(http://bigd.big.ac.cn/cloud/tools/QT000010)上,无须本地安装,用户可在线提交数据并进行分析。同时本项工作的相关具体内容已经发表在Bioinformatics杂志中(https://www.ncbi.nlm.nih.gov/pubmed/27742698)  。

该项研究工作获得了国家高技术研究发展计划(2014AA021503和2015AA020108)和中国科学院国际合作局国际大科学计划(153F11KYSB2016008)等基金资助。

1479781123453064064.jpg

论文链接:https://www.ncbi.nlm.nih.gov/pubmed/27742698