BML CodeLab是百度团队自主研发的面向机器学习的端云协同开发环境,包括本地客户端和云端两部分,CodeLab提供端云协同开发的机制,支持高性价比云端算力购买,提供本地高性能机器学习端到端处理能力,为用户带来顺畅的编码体验同时,还可以灵活调用云端算力,多人共享算力,使用户更专注于数据处理与建模工作。
01、高性价比云端算力和免费存储空间
对接多家云端算力提供商,助您选择最高性价比的算力,支持算力分享,更有专业运维和客服团队,确保服务质量和稳定性。
高性价比算力:按需付费,极大降低算力成本
一人购买,多人共享
服务稳定:专业客服随时在线
02、交互式开发环境和机器学习插件
基于JupyterLab进行深度优化,集成丰富的机器学习研发插件。
集成VSCode里的代码编辑器:支持代码高亮,自动补全
任务管理插件:管理本地和云端任务,支持自动周期运行
性能监控插件:实时可视化CPU、内存、显卡、硬盘的运行数据
03、多人协作和版本控制
内置多人协作开发插件,实现数据和代码的版本控制。
文件版本控制:可管理代码、数据、模型等类型的文件
Python包管理:多人协作工作,避免安装包冲突
高扩展性:支持主流的文件系统,例如BOS和HDFS等
04、自研高性能计算引擎
内置百度自研的高性能计算引擎,提供机器学习和数据分析加速能力。
异构加速计算:利用GPU和CPU并行及混合加速计算
超大数据处理:单机可处理1GB-10TB数据
高效数据存储:利用Parquet和Arrow实现高效磁盘和内存存储
本地主机与远程机器协同开发模式
BML CodeLab 不改变用户的本地编码习惯,本地调试后,就可调用云端算力进行训练,即解决了本地机器算力能力不足问题,也帮助用户省去本地编码环境与云端不断切换的繁琐操作。
增强的交互式开发
为给用户带来顺畅、人性化的开发体验,在集成 JupyterLab 优秀功能基础上,引入微软 Monaco 编辑器,支持任何编程语言的代码补全、用法提示、多光标等 IDE 功能。
高性能计算引擎
BML CodeLab 内置了百度自研的高性能数据科学引擎 Blackhole,利用单机 GPU 和 CPU 进行异构加速计算,相比开源 Pandas/Sklearn 性能可提升6倍以上,同时拥有处理 10TB 的单机超大数据处理能力,如下图对比结果:
同时提供和 Pandas、Sklearn 基本一致的易用接口。
高性价比算力资源
为给用户提供充裕经济的算力,解决资源不够用,排队时间长、运行时长受限等痛点问题,百度提供了智星云2080 Ti 算力能力,且支持算力共享,即一方购买了算力,可分享给其他用户使用,多人共享算力,最大化利用闲置资源。(说明:当前支持 Mac/Linux 系统版客户端使用算力提交云端任务,Windows 版本客户端该功能目前在升级中,但可正常使用本地资源)
内置百度文心(ERINE)强大的语义理解技术
BML CodeLab 内置百度 NLP 自研的基于知识增强的语义理解技术,将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的新知识,实现模型效果的不断进化。
此外,BML CodeLab 支持对代码、数据、模型等类型文件的版本控制;可通过不同文件颜色区分新建文件、已删除文件、已修改文件,方便用户监控文件变化,把控版本生成。
BML CodeLab 还有很多功能值得开发者探索使用,在用 AI 服务大众的道路上,百度 BML CodeLab 团队一直在快速奔跑,不断探索,攻破一个个技术难题,相信团队会用先进的技术带给用户最好的体验。