本記事は Confluent blog の記事を翻訳し転載しています。
2025年1月2日 読了時間： 4分
Andrew Sellers
戦略開発、競合分析、ソートリーダーシップをサポートするチームである Confluent のテクノロジー戦略グループを率いています。
Adi Polak
アドボカシー & 開発体験エンジニアリング担当ディレクター
専門はデータストリーミング、アナリティクス、新世代の AI システム。様々なソーシャルメディアプラットフォーム @adipolak で彼女を見つけることができます。
AIへの関心は2020年以降急速に高まり、それ以来、新聞の見出しや役員室の話題を独占しています。そのため、ビジネス開発がそれに追随していることは驚くことではありません。Confluentによるデータストリーミングのレポートの調査結果では、ITリーダーの81%がAIと機械学習を2024年の予算における重要または最優先事項として挙げています。
しかし、こうした注目と投資は、AIがどこにでも存在し、意図したとおりに機能する近い将来につながるのでしょうか。すべては、AIに対する期待を現実世界の機能に変えるために、新しいスキル、適切なツール、信頼できるデータを備えたエンジニアを企業が十分に供給できるかにかかっています。
ここでは、エンジニアリング チームに最も大きな影響を与えるであろうAIのトレンドと、これらの課題を克服するためのアドバイスをご紹介します。
トレンド 1: ハルシネーションは、LLMのユースケースの増加する限り、生産への大きな障壁となる
大規模言語モデル(LLM)は、ムーアの法則の当然の結果として、教育に用いるトレーニングデータの量、それらを定義するパラメータの数、および注意が考慮できるコンテキストウィンドウのサイズとともに指数関数的に増加します。しかし、モデルの解釈可能性は概してとらえどころのないままです。LLMは一般的に推論エージェントが貧弱であるため、すでに機能することがわかっている手法と組み合わせることで、LLMに依存することで生じるハルシネーションを大部分、克服することができるしょう。
開発者への影響
LLMは本質的に確率的ですが、従来のQAのベストプラクティスの多くは、テストされたシステムが決定論的であることを前提としています。開発者は、LLM対応アプリケーションをテストし信頼性を高めるために、異なるアプローチに頼らざるを得なくなるでしょう。歴史的に有用な機械学習(ML)技術やその他の技術を適用して、出力品質を測定し、ハルシネーションを最小限に抑えることができます。アプリケーションに特化したガードレールがあれば、エンジニアはLLMを構築し、ハルシネーションを検出したり、信頼度の低い情報を提供したりしたときに、それを確実に識別することができます。
LLMと比較すると、小さく微調整された言語モデルを使用した方が、応答性が向上します。ただし、そのために開発者は、イベントやタイムリーでパーソナライズされたデータなど、適切な洞察を与える必要があります。ハルシネーションの影響を軽減するために開発者が使用できる有力なパターンの1つは、推論時のプロンプトと関連するドメイン固有の情報を結合させる、検索拡張生成（RAG）です。
トレンド 2: エージェンティックAIはより独立した意思決定が可能となる
エージェンティックAIシステムは、特定のビジネス機能、チーム、さらには企業内の個人に代わって意思決定を行い、独立して行動することを約束します。しかし、AIモデルが高度になるにつれて、透明性が失われる傾向があり、AIエージェントを構築してデプロイする際に、エンジニアリングチームにとって解決するのは難しい問題になります。
開発者への影響
自動化されていないシステムと比較して、依存するシステムが出力を消費する前にAIのエラーを認識することははるかに困難です。リアルタイムのデータパイプラインを使用してRAGを実装すると、エージェンティックAIソリューションの重要なコンテキストを強化し、環境意識と意思決定を向上させるのに役立ちます。
これらのソリューションが構想から開発、運用へと進むにつれて、より多くの組織が、ストリーミング、処理、ガバナンス機能を備えたデータストリーミング プラットフォーム （DSP）を必要とするようになり、長期的にこれらの機能を持続可能な形で構築および拡張できるようになるでしょう。
DSPで実現されるイベント駆動型アーキテクチャは、エージェントシステムの実装フレームワークを提供し、それらをコンポーザブルなマイクロサービスの非同期ワークフローとしてモデル化します。このアプローチは、エージェントシステムの個々のコンポーネントの再利用性を促進し、大規模なモノリスとして作成するよりも、大規模なシステムの分析とスケーリングが容易になります。
トレンド 3: エンジニアリング チームは、AIモデルのためのダイナミック データアクセスに移行している
動的またはリアルタイムのデータアクセスに対する需要の高まりは、AI/MLイニシアチブに限ったことではなく、リアルタイム インテリジェンスの成長に貢献しています。過去 10 年間で、エンジニアリング チームは、 Apache Kafka® や Apache Flink® のようなオープンソースのストリーミング エンジンを使用して、リアルタイムのレコメンデーション、予測、異常検知を強化することが増えています。
開発者への影響
この傾向は、これらのプロジェクトを支えるインフラやチームにも影響を与えるでしょう。このリアルタイム データアクセスへのシフトは、より柔軟で動的なデータ組織を可能にし、人間のユーザーやチャットボット、さらにはAIエージェントも、さまざまなデータにすばやくアクセスしてクエリを実行できるようになります。
新しいAIスキルとより優れたデータでエンジニアを支援
リアルタイム AI ソリューションを構築する際の複雑さとコストを抑える方法を模索している企業は、データ処理をシフトレフトし、信頼できるデータ製品へのダイナミック アクセスを可能にするために、データ コントラクトを使用する必要があります。結果として得られるデータ製品は、データストリームまたはオープンテーブル形式として消費できます。このアプローチは、データチームに効率的なデータ処理を実現し、エンジニアにクリーンで一貫性のある形式でデータを提供し、より信頼性が高く、リスクの少ない動的なAIアプリケーションを構築できるようになります。
しかし、エンジニアに信頼できるデータを提供するだけでは、AIの取り組みを成功させるには不十分です。しかし、AIの取り組みを成功させるには、エンジニアに信頼できるデータを提供するだけでは十分ではありません。リーダーは、経験豊富なエンジニアが差別化されたアプリケーションの構築に集中できるように時間、リソース、サポートを提供しながら、若手チームメンバーをトレーニングし、指導するように動機付ける必要があります。
データエンジニアは、LLMと生成AIツールを使用して、迅速なエンジニアリングスキルを育成し、コーディングテンプレートへの精通度を高めることができます。エンジニアがコンピューターサイエンスの基礎をしっかり身につけ、PythonやJavaのようなデータやAI/MLの分野で人気の言語の習熟度を高め、リアルタイムのデータ処理とイベント保証を理解することが役立ちます。
この記事は The New Stackに掲載されたものです。
