本記事は Kong Blog の記事を翻訳し転載しています。

AIの支出管理、AIエージェントとチャットボットの構築、リアルタイムなAI応答の取得、コンテンツの安全性の確保がより簡単になりました。

Marco Palladino
CTO and Co-Founder

Kong Gateway 3.7およびKong Gateway Enterprise 3.7には、エンタープライズのみの改善およびOSS版の改善を含む、新しいKong AI Gateway機能が導入されています。ここでは新機能の一部をご紹介します。AIにフォーカスした新機能の詳細については、以下の続きをお読みください。

AI Gatewayが一般公開機能に（OSS版とエンタープライズ版）

新しいKong Gateway 3.7リリースでは、Kong AI Gatewayを一般公開しました。

本日よりAI開発者は、LLM RAGチャットボットやAI統合など、AIに特化したユースケースの構築に専念できるようになりました。運用中のAIアプリケーションの安全で可観測性に優れたライフサイクルを確立するために基盤インフラを構築する必要はありません。Kongが大規模に、Kong KonnectとKong Gateway Enterpriseの双方で完全にサポートします。

Kong AI Gatewayはまた、Kongの新しいKonnect Dedicated Cloud Gatewaysサービスを利用して、専用のSaaSサービスとして完全にクラウドでプロビジョニングすることもできます。

Kong AI Gatewayは幅広いユースケースをサポートし、新しいAIアプリケーションの本番環境への導入と展開を加速します。

既存のOpenAI SDKのサポート

Kong AI Gatewayは、サポートするすべてのLLMにアクセスするための1つのAPIを提供します。これを実現するために、OpenAI API仕様で標準化しました。開発者がすでに慣れ親しんでいるAPI仕様を提供することで、より迅速な導入をサポートします。

この新しいリリースでは、OpenAI SDKクライアントライブラリをネイティブでサポートすることで、Kong AI Gatewayを使用してAIエージェントやアプリケーションをより簡単に構築できるようになります。AI Gatewayのルートを指定するURLにリクエストをリダイレクトするだけで、AI Gatewayの背後でLLMを使い始めることができます。

OpenAI SDKを使って書かれた既存のビジネスロジックがあれば、それを再利用してKong AI GatewayがサポートするすべてのLLMを利用することができます。

AIストリーミングサポートの導入（OSS 版とエンタープライズ版）

すべてのLLMプロバイダーを消費する際の「ai-proxy」プラグインでのストリーミングが、Kong AI Gatewayでネイティブにサポートされるようになりました。これにより、LLMによる完全なレスポンスの処理を待ってからクライアントに送り返す必要がなくなり、よりリアルタイムな体験が可能になりました。

レスポンスは、HTTPレスポンス チャンク（SSE）でトークンごとに送信されます。この機能は、プラグインの構成で 「ai-proxy」 の以下のプロパティを設定することで有効にできます。

config:
model:
options:
response_streaming: "allow"

これにより、クライアントは次のようなリクエストをしてストリーミングを要求することができます。

{
"prompt": "What is 1 + 1?",
"stream": true
}

この機能により、Kong AI Gatewayのユーザーは、より効果的でインタラクティブなAI体験を実現ができます。

新プラグイン：AIトークンのレート制限（エンタープライズ版）

LLMの使用率をリクエスト トークンの数で制限する、エンタープライズ版にのみ新しいAI機能として導入します。新しい 「ai-rate-limiting-advanced 」プラグインを有効にすると、お客様は組織内のチームごとに異なる使用レベルを指定します。そうすれば全体的なAI支出量をより適切に管理することができます。セルフホストのLLMプロバイダーの場合、アプリケーション全体でAIトラフィックが増加したときに、AIインフラストラクチャのトラフィックをより適切にスケーリングできるようになりました。

Kongはすでに、APIに送信されるリクエスト数に基づいてレート制限を行うAPIレート制限機能を提供しています。一方で、新しいai-rate-limiting-advancedプラグインは、送信される生のHTTPリクエスト数にかかわらず、リクエストされたAIトークンの数にフォーカスしています。もしお客様が生のリクエストとAIトークンの両方を特にレート制限したい場合、ai-rate-limiting-advancedプラグインを標準のKongレート制限プラグインと組み合わせて使用することができます。

ai-rate-limiting-advancedプラグインは、現在AIで利用可能な唯一のレート制限プラグインです。

新プラグイン：新しいAI Azure Content Safety（エンタープライズ版）

新しいエンタープライズ向けのプラグイン 「ai-azure-content-safety 」を使用すると、Azure AI Content Safetyサービスとシームレスに統合し、（Azure AIだけでなく）サポートされているすべてのLLMにわたってAI Gatewayを介して要求されているプロンプトを検証することができます。

たとえば、Azureのネイティブサービスを使用して、Kong AI Gatewayの任意のLLMプロバイダーに送信されるすべてのプロンプトから、暴力、憎悪、性的、自傷的なコンテンツを検出してフィルタリングすることができます。

ai-proxyの動的URLソースLLMモデル (OSS 版とエンタープライズ版)

クライアントから要求されたURLパスを介して、要求されたモデルを動的に構成できるようになりました。さらに、プラグイン構成でモデル名をハードコーディングすることで、モデルを利用することができます。この機能を有効にすると、さまざまなモデルを試行するチーム全体で、「ai-proxy」プラグインで事前に構成しなくても、容易にKong AI Gatewayを拡張できます。

「ai-proxy」に対して、がクライアントが要求したURLを使用してLLMルートを設定できるようにして、「ai-proxy」プラグインを一度適用すれば、代わりに要求されたURLパスをパースすることで、基礎となるAIプロバイダーが利用可能なすべてのモデルをサポートすることができます。

この機能は 「ai-proxy」の新しい構成パラメータ 「config.route_source 」で設定することができます。

Anthropic Claude 2.1 Messages API（OSS版とエンタープライズ版）のサポート

Kong AI Gatewayは、クラウドプロバイダーとセルフホストプロバイダーの双方でモデルを利用するための1つのAPIインターフェースを提供します。チャットボットや仮想アシスタントアプリケーションを作成するために一般的に使用されるAnthropic Claude 2.1 Messages APIをサポートするために、統一APIインターフェースを拡張しました。このAPIは、ユーザーとAnthropic Claudeモデル（アシスタント）間の会話のやりとりを管理します。

Kong AI Gatewayは、ユーザーの要望に応じて、より多くのLLMとモデルのサポートを継続的に追加していきます。

AI分析フォーマットのアップデート（OSS版とエンタープライズ版）

Kong AI Gatewayの一般公開に伴い、Kongが処理するすべてのAIリクエストの分析ログのフォーマットをアップデートしました。

この新しいログフォーマットでは、「ai-proxy」、「ai-request-transformer」、「ai-response-transformer 」によってリクエストされたすべてのモデルの消費量を測定できるようになりました。

"ai": {
    "ai-proxy": {
      "meta": {
        "request_model": "gpt-35-turbo",
        "provider_name": "azure",
        "response_model": "gpt-35-turbo",
        "plugin_id": "5df193be-47a3-4f1b-8c37-37e31af0568b"
      },
      "payload": {},
      "usage": {
        "prompt_token": 89,
        "completion_token": 56,
        "total_tokens": 145
      }

    },
    … more AI Plugins 

この新しい分析ログのフォーマットは、古いフォーマットから置き換わるものです。

Kong AI Gatewayを使い始めましょう。

今すぐKong AI Gatewayを使い始めましょう！安全でスケーラブルな方法で、運用環境でのAIアプリケーションのロールアウトを加速します。

原文：Kong AI Gateway Goes GA, New Enterprise Capabilities Added