什么阻碍了人工智能基础设施的发展?

当今人工智能面临的最大基础设施挑战并非硬件限制,而是系统设计。

如今大多数基础设施仍然遵循“无共享”模型,该模型由谷歌等互联网先驱在 21 世纪初推广。

在这种方法中,数据被拆分成多个分区并分布在各个服务器上,以实现水平扩展。

这对于当时的问题来说堪称理想之选,但对于数百万处理器需要并发访问共享数据的AI环境而言,其扩展性并不理想。随着这些传统集群的增长,协调开销也随之增加,从而给AI代理推理和持续反馈循环等实时、高并发工作负载带来了性能瓶颈。

VAST Data 很早就看到了这一挑战并创造了一种替代方案:专为人工智能构建的分解式全球数据平台


向分解式、并行架构的转变

解决方案需要一种不同的方法。与其跨服务器划分数据,不如让每个处理器并行访问每个字节的数据,而无需节点之间进行东西向流量传输,结果会怎样?如果使用标准网络和商用硬件就能实现这一点,结果又会怎样?

这一概念催生了一种名为 DASE(Disaggregated and Shared-Everything,分解式共享)的新架构。VAST Data 率先采用了这种方法,将计算与存储分离,同时确保所有数据都能在全球范围内高速访问。它使 CPU 和 GPU 能够直接读写数据,而无需协调延迟。即使系统扩展到数万个处理器,也不会出现分区、依赖链和级联速度下降的情况。

它还显著提升了弹性、成本效率和实时访问能力。VAST 的分布式基础架构支持高级数据保护方案和全局纠删码,在降低存储成本的同时提升了可靠性。它能够在不牺牲一致性和可用性的情况下,提取、处理和提供海量数据——这两者是现代 AI 平台的两大基本要求。

从存储平台到AI操作系统

早期采用者最初将 VAST 视为下一代高性能存储平台。但它的创建者却有着更宏伟的愿景:一个面向 AI 基础设施的数据平台操作系统。

正如过去的操作系统为传统应用程序管理 CPU、内存和存储一样,AI OS 必须在庞大的分布式环境中协调数据、计算和 AI 代理,同时保持治理、安全和实时响应能力。

这并非纸上谈兵。它已在 VAST AI 操作系统中初具规模,该系统以数据为中心的可扩展基础不仅支持存储,还支持计算和 AI 运行时服务。VAST 数据引擎 (VAST DataEngine)提供了一个容器化环境,用于大规模部署分布式 Python 函数和微服务。VAST 洞察引擎 (VAST InsightEngine) 通过实时生成向量嵌入,将非结构化数据转换为 AI 就绪上下文。全新的 VAST 代理引擎 (VAST AgentEngine) 提供运行时和工具,用于在企业环境中部署和管理 AI 代理。

这些并非孤立的服务。它们是集成组件,旨在在为人工智能发展而构建的分散式并行基础架构上运行。最终,我们构建了一个能够支持实时决策、向量搜索、人工智能代理编排以及安全多租户数据服务的平台——所有这些都基于 VAST Data 构建的统一基础。

人工智能基础设施的新标准

随着人工智能的加速普及,企业面临着一个选择:是继续改造为旧工作负载构建的遗留系统,还是迁移到专为基于代理的大规模实时人工智能计算构建的新基础设施。

AI 操作系统不再是一个有待定义的概念。VAST 正在实现它。它正迅速成为构建智能自主系统的组织的必备条件。对于那些将 AI 视为未来核心的企业而言,VAST AI 操作系统将成为模型训练、推理、智能应用和自主决策的基础层。

正如 Linux 和 Windows 曾经定义各自时代的操作系统一样,人工智能需要一个专为智能、实时、大规模运行而设计的平台。VAST Data 对这个新时代的愿景已经实现,并且正在为人工智能基础设施树立新的标准。

Aaron Chaisson 是 VAST Data 的产品和解决方案营销副总裁。

点赞(0)

评论列表 共有 0 条评论

暂无评论

微信扫一扫

T:13911448898

立即
报名

微信公众账号

微信扫一扫加关注

返回
顶部