OpenAI将持续推动微软Azure的消费
微软的Azure 平台见证了OpenAI 大型语言模型(LLM) 的采用显著成长，特别是GPT-3.5 Turbo 和GPT-4。然而，使用这些模型优化大量代币的使用给ISV 和数位原生代带来了挑战 [1]。本文提供了克服这些挑战的见解和建议。
将OpenAI 与Azure 结合使用的主要挑战之一是达到每个请求的最大令牌限制。虽然GPT-4 等较新的模型提供了更广泛的资料集和更高的准确性，但它们也具有更高的令牌限制。 ISV 和数位原生代必须探索替代方法来克服这些限制以满足其专案需求。
一种解决方案是为特定用例确定适当的法学硕士技术。例如，GPT-3.5 提供了经济高效的部署，可用于更简单的查询。然而，ISV 和数位原生代应该考虑创建嵌入等技术，为其AI 提示提供相关上下文，这可以显著减少所需的令牌数量 [1]。
另一个挑战是优化Azure OpenAI 中的多个服务和模型部署。实现可扩展性，同时避免模型部署利用率不足或过载至关重要。 ISV 和Digital Natives 必须考虑一些策略，例如在多个租用户之间使用共用的Azure OpenAI 服务实例，或为多个部署和客户成本分配提供有效的机制 [1]。
总而言之，ISV 和Digital Natives 可以透过采取逐步方法来发现特定模型的潜在用例、确定适当的LLM 技术以及优化多种服务和服务，在Azure OpenAI 中使用大量令牌来建立可靠的AI 解决方案。 。透过尝试这些策略，ISV 和Digital Natives 可以最大限度地提高其代币使用率和整体效能。
参考：
[1] 微软技术社群。使用Azure OpenAI 优化大量令牌使用的策略。 https://techcommunity.microsoft.com/blog/fasttrackforazureblog/strategies-for-optimizing-high-volume-token-usage-with-azure-openai/4007751
[ad_1]
[ad_2]
