人工智能盘算平台
案例配景
地震数据收罗 AI 模子开发框架平台基于云原外行艺框架,开发“地震数据收罗 AI 模子开发框架平台”,构建物探收罗营业的 AI 开发框架,提供包罗数据治理-模子开发-模子库-宣布共享功效的模子开发、训练、部署、执行一体化全流程治理。从而到达提升地震物探收罗 AI 模子与收罗专业软件开发效率及前后端协同作业能力的目的。
地震数据收罗 AI 模子开发框架平台在盘算资源和基础服务统筹云化治理的基础上,提供包罗数据治理-模子开发-模子库-宣布共享功效的模子开发、训练、部署、执行一体化全流程治理。平台将支持Tensor flow、PyTorch、百度飞浆等主流AI框架,预置Unet、PSPNet、Unet++、Transformer、DeepLabv3、ResNet、图像金字塔等算法。
问题与挑战
GPU和CPU等资源分配的不平衡,或者妄想的不合理,往往会导致高优使命无法高效的运行。
资源碎片较多,导致在集群有空余资源的情形下,某些使命依旧无法运行。
样本数据随意存储,不使用的数据不能集中销毁,可用数据无版本治理措施,数据共享无追溯能力。
机械学习涉及营业、数据、算法等多团队,团队间缺乏相同的手艺和营业配景知识作为协作基。佣聪嗤琳。