Anthropic以更为经济实惠的异步批处理技术挑战 OpenAI

人工智能公司Anthropic于本周二推出了新的消息批量 API，使企业能够以标准 API 调用一半的成本处理大量数据。这一新产品可在 24 小时内异步处理多达 10000 次查询，这标志着企业在处理大数据时向更方便、更经济高效地使用高级人工智能模型迈出了重要一步。

人工智能的规模经济： 批量处理降低成本

与实时处理相比，批处理 API 在输入和输出代币方面提供了 50% 的折扣，这使得 Anthropic 能够与其他人工智能提供商（如OpenAI）展开更激烈的竞争，后者在今年早些时候推出了类似的异步批处理功能。

此举标志着人工智能行业定价策略的重大转变。 通过以折扣价提供批量处理服务，Anthropic 有效地为人工智能计算创造了规模经济。

这可能会导致以前被排除在大规模人工智能应用之外的中型企业采用人工智能的数量激增。

这种定价模式的影响不仅仅是节约成本。 它可以从根本上改变企业处理数据分析的方式，有可能带来更全面、更频繁的大规模分析，而这些分析以前被认为是过于昂贵或资源密集型的。

定价比较： GPT-4o 与克劳德的高级模式对比；成本显示为每百万词元（表格来源：VentureBeat）

从实时到适时： 重新思考人工智能的处理需求

Anthropic 已通过公司的 API 为其 Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku 模型提供批处理 API。 Google Cloud 的 Vertex AI 预计将很快支持 Claude，而通过 Amazon Bedrock 使用 Claude 的客户已经可以访问批量推理功能。

批处理功能的推出标志着对企业人工智能需求的理解日趋成熟。 虽然实时处理一直是许多人工智能开发的重点，但许多业务应用并不需要即时结果。 Anthropic 通过提供一种速度较慢但更具成本效益的选择，承认对于许多用例来说，”正确的时间”处理比实时处理更重要。

这种转变可能会使企业在实施人工智能时采用更加细致入微的方法。 企业可能会开始在实时处理和批处理之间战略性地平衡人工智能工作负载，优化成本和速度，而不是默认采用最快（通常也是最昂贵）的选项。

批处理的双刃剑

尽管好处显而易见，但转向批量处理也对人工智能的未来发展方向提出了重要问题。 虽然它使现有模型更容易获取，但也存在着一种风险，即它可能会分散推进实时人工智能能力的资源和注意力。

成本与速度之间的权衡在技术领域并不新鲜，但在人工智能领域，这种权衡显得更加重要。 随着企业习惯于批量处理的低成本，提高效率和降低实时人工智能处理成本的市场压力可能会减小。

此外，批处理的异步性可能会限制依赖即时人工智能响应的应用的创新，如实时决策或交互式人工智能助手。

在推进批处理和实时处理能力之间取得适当的平衡对于人工智能生态系统的健康发展至关重要。

随着人工智能行业的不断发展，Anthropic 的新批量 API 既是机遇也是挑战。 它为企业大规模利用人工智能开辟了新的可能性，有可能增加对先进人工智能能力的访问。

同时，它也强调了在开发人工智能时需要深思熟虑，不仅要考虑眼前的成本节约，还要考虑长期的创新和多样化的用例。

这种新产品能否取得成功，将取决于企业如何将批处理集成到现有工作流程中，以及如何在人工智能战略中有效平衡成本、速度和计算能力之间的权衡。