当前位置: 主页 > 科技 > IT >

才云科技发布国内首个谷歌级深度学习在容器集群上的实践案例

2016-06-06 10:44 消息来源:才云Caicloud

上海2016年6月6日电 /美通社/ -- 6月4日,于上海光大会展中心举行的@Container容器大会上海站,才云科技正式发布了国内首个基于容器集群的分布式深度学习TensorFlow系统Clever。美国谷歌于今年4月底最新发布的TensorFlow 0.8,成功实现了与Kubernetes云平台的结合。在谷歌内部,TensorFlow已经成功地应用到了谷歌搜索、广告、地图、翻译等众多产品之中,并突破了语音识别,图像识别,自然语言处理等多个领域的机器学习瓶颈。TensorFlow代表了美国大规模深度学习的最新进展。才云科技作为国内首家支持分布式TensorFlow的云平台,引领了国内大数据市场的新发展。

才云科技首席科学家、前美国谷歌高级工程师郑泽宇,在@Container容器大会上做了《谷歌级深度学习在Kubernetes上的实践》分享。演讲中,郑泽宇为大家详细解读了深度学习在谷歌的最新实践以及TensorFlow与才云科技容器云平台的融合,并现场为大家演示了如何使用才云科技公有云平台(caicloud.io)的分布式深度学习系统(见下图)。

才云科技Caicloud.io 机器学习界面
才云科技Caicloud.io 机器学习界面

近两年,Docker、“容器”作为新型软件交付工具在国内迅速普及,企业都逐渐把容器技术应用在开发环境中,大型容器集群管理方案和实践也越来越多的被应用于国内企业生产实践。才云科技主推的谷歌级容器集群管理平台caicloud.io与基于此平台向上的各类容器SaaS云服务,已经形成一股高能新引力。这使得才云科技首席科学家郑泽宇的演讲现场全场爆满,一“站”难求。

深度学习在谷歌中的应用

谷歌内部早在2011年就开始了对大规模并行化深度学习DistBelief系统的搭建。通过该系统,谷歌实现了在语音识别,图像识别,自然语言处理等多个领域的突破。在语音识别方面,此系统将谷歌语音搜索应用的错误率降低了25%;在图像识别方面,此系统为谷歌赢得了ImageNet 的图像识别竞赛并成功的超越了人类表现;在自然语言处理方面,谷歌翻译通过此系统进一步提升了翻译结果。基于DistBelief系统,谷歌于2015年底开源了一套更加灵活,效率更高的深度学习系统 -- TensorFlow。AlphaGo的开发团队DeepMind也于上个月宣布完全转移到了TensorFlow这套系统。

TensorFlow  HadoopSpark

因底层计算模型迥异,Hadoop、Spark和TensorFlow有完全不同的擅长和特点。Hadoop和Spark的底层计算框架均基于Map-Reduce,TensorFlow底层则基于矩阵运算。Hadoop和Spark适用于数据的清理、转化和统计,TensorFlow则更专注于数值计算。比如TensorFlow不容易实现统计单词出现个数的功能,但可以在短短几行代码中实现深度学习算法。

才云科技在国内首推支持分布式TensorFlow系统

为了适应海量数据的需求,才云在6月4日推出Clever 机器学习系统成为国内首家支持分布式TensorFlow系统。基于此系统,才云一方面将进一步提供更加方便的机器学习算法实验框架,为科研人员提供更好的支持;另一方面也将着力打造深度学习应用SaaS平台,使得更多的人能够享受到机器学习带来的技术革新。