Nemotron 3.5 LightningとNeMo Switchyardで 実現するハイブリッドAgentic AIアーキテクチャ
AIoT Solutions
1. システム概要：「System of Models」という新たなアプローチ
近年のAgentic AI（自律的にタスクを計画・実行するAI）では、単一の大規模モデルにすべての処理を集約する従来のアプローチから、複数のモデルを連携させる「System of Models」アーキテクチャへの移行が進んでいます。
このアーキテクチャでは、AIエージェントが状況の認識、計画、実行、評価といった複数のステップを繰り返しながら、複雑なタスクを遂行します。すべての処理において、ひとつの基盤モデルが最適な性能を発揮するとは限りません。そのため、各タスクに適したモデルを選択し、高度な推論が必要な場合にのみ最先端の大規模モデルを活用することで、処理効率と精度の両立を目指します。
主なメリット
- 精度の向上： ワークフロー（タスクを実行する一連の処理）の各ステップに適したモデルを活用し、処理精度を高めます。
- 処理効率の改善： 大量に発生する定型タスクは小規模な特化型モデルが処理し、複雑なタスクには高性能な大規模モデルを活用します。
- レイテンシの低減： レイテンシ（リクエストから応答までにかかる時間）を抑え、複数のステップで構成されるAIエージェントの処理を効率化します。
- セキュリティとデータ主権の確保：ルーティングルール（リクエストの振り分け条件）を設定することで、顧客情報、財務データ、独自のソースコードなどの機密データを、指定したモデルや処理環境に限定して扱うことが可能です。
2. NVIDIA Nemotron 3.5 Lightning
NVIDIA Nemotron 3.5 Lightningは、このアーキテクチャにおいて効率的なローカル推論エンジンとして機能します。クラウドに依存せず、大量のAIエージェントタスクを処理できるよう設計されています。
モデルアーキテクチャと主な特長
- アーキテクチャ：Mixture-of-Experts（MoE：複数の専門化されたニューラルネットワークを組み合わせ、入力に応じて一部を活性化する仕組み）を採用。総パラメータ数は300億（30B）で、1トークンあたりのアクティブパラメータ数は30億（3B）です。トークンとは、AIがテキストを処理する際の基本単位です。
- 開発の背景：NVIDIAの最先端モデルであるNemotron 3 Ultraから知識を蒸留（大規模モデルの知識や能力を、より小さなモデルに引き継ぐ手法）し、よりコンパクトな構成でAgentic AIに必要な能力を維持するよう設計されています。
- 最適化： 主要なAIエージェント実行フレームワーク（Agent Harness：AIモデルへの指示やツールの利用、処理の進行などを管理する仕組み）向けに最適化されており、コーディング、ツール呼び出し、指示追従、複数ターンにわたるワークフローにおいて、高い精度を発揮します。
- カスタマイズ性： オープンなモデルとして提供され、企業独自のデータを用いた追加学習（ポストトレーニング：事前学習済みモデルを特定の用途に合わせて調整する工程）により、業務に合わせたカスタマイズが可能です。
対応するハードウェア環境
データ主権の確保と低レイテンシの推論を実現するため、ローカル環境への導入を想定しています。
- MSI EdgeXpert：NVIDIA DGX Sparkラットフォーム（GB10）をベースとしたシステム
- MSI XpertStation WS300：NVIDIA DGX Stationラットフォーム（GB300）をベースとしたシステム
- NVIDIA DGX SuperPOD：H100／B200を搭載した大規模AIインフラ。ローカル環境とクラウドなどを組み合わせるハイブリッド構成への拡張にも対応します。
3. NVIDIA NeMo Switchyard
NVIDIA NeMo Switchyard は、「System of Models」アーキテクチャを実現するためのオーケストレーションレイヤー（複数のモデルや処理を連携・制御する仕組み）です。AIエージェントのワークフローに応じて、モデルへのリクエスト振り分けを自動化します。
主な機能
- 自動ルーティング：オープンモデルとクローズドモデル（ソースコードや利用条件などが公開されていないモデル）を組み合わせた、ユーザー定義のモデル群から、ワークフローの各ステップに適したモデルを選択するオープンソースのルーティングライブラリです。
- 初期設定の簡素化：学習データや追加学習、複雑な設定を必要とせず、標準搭載のルーティングアルゴリズム（モデルの振り分け方法を決める手順）を利用して導入を開始できます。
- 継続的な最適化： AIエージェントの実行時に得られる利用データを活用し、ルーティングの判断を継続的に改善します。手動での再学習に頼らず、利用状況に応じた最適化を目指します。
主な導入形態
GitHubのEarly Access（一般公開前の早期アクセス）を通じて提供されており、さまざまなシステム構成への統合に対応します。
- スタンドアロンサーバー（単独で動作するサーバー
- 軽量なPythonライブラリ（Pythonプログラムから機能を利用するためのソフトウェア部品）
- LLMゲートウェイ（大規模言語モデルへのリクエストを中継・管理する仕組み）やISPなどを介した、AIエージェント実行フレームワークへのネイティブ組み込み
4. 動作の仕組み：タスクに応じたモデルの自動振り分け
Nemotron 3.5 LightningとNeMo Switchyardを組み合わせることで、AIエージェントのタスクに応じてモデルを選択し、その実行結果を次のルーティング判断に活用する仕組みを構築できます。
- ステップ1：状況の認識（Observation） AIエージェントが、計画立案、コーディング、結果検証などのタスクに取り組みます。
- ステップ2：タスクの評価（Evaluation） NeMo Switchyardが、リクエストの内容やコンテキスト（処理対象の情報や、それまでの会話・実行履歴）を評価し、利用可能な各モデルの得意分野と照らし合わせます。
- ステップ3：モデルの選択（Routing Decision）
- 大量処理・特化型タスク： 定型的な分類やデータ抽出など、ローカルで効率的に処理できるタスクはNemotron 3.5 Lightningへ振り分け、処理効率とプライバシーの確保を図ります。
- 高度な推論が必要なタスク： ローカルモデルの能力では十分に対応できない複雑なタスクは、最先端の大規模モデル（Frontier Model：高度な推論能力を備えた最先端のAIモデル）へ振り分けます。
- ステップ4：実行とフィードバック（Execution & Feedback） 選択されたモデルがリクエストを処理します。その際に得られる性能や実行状況のテレメトリーデータ（システムの稼働状況や処理結果を示す計測データ）をSwitchyardにフィードバックし、将来のルーティング判断の改善に活用します。
この仕組みにより、各タスクに必要なモデルを柔軟に使い分け、効率的なAIエージェント運用を目指します。
5. 業界別の活用例
このハイブリッドアーキテクチャは、AIエージェントを常時稼働させ、安定した推論処理が求められるさまざまな業務への応用が期待されます。
- パーソナルエージェント： DGX SparkやRTX Spark上で、メール、カレンダー、プロジェクト管理、予約などのタスクをローカル環境で処理します。
- ソフトウェア開発：プルリクエスト（PR：ソースコードの変更内容をレビューのために提出する仕組み）の要約、コードの分類、テスト結果のトリアージ（問題の優先順位付けや対応方針の整理）などを支援します。
- 金融サービス： 文書からのデータ抽出、社内ポリシーや規則のチェック、リスクシグナルの監視、レポートや要約の生成などに活用できます。
- サイバーセキュリティ： アラート情報の補強、インシデント（セキュリティ上の問題や事故）の分類、ログ（システムの動作記録）の検索、セキュリティ制御の検証、調査結果の整理などを支援します。
- 通信・医療分野：通信分野ではネットワークアラームのトリアージや請求に関する問い合わせ対応、医療分野では予約管理、請求処理、定型的なコミュニケーションの自動化などが想定されます。
6. 導入効果と実績
このようなルーティングアーキテクチャを活用した導入事例では、モデルの推論コスト削減や処理効率の改善が報告されています。
- Harvey Legal： NeMo Switchyardと、法律分野に特化して追加学習したNemotronモデルを組み合わせることで、モデルの推論コストを10分の1未満に削減しました。
- Applied Compute：インテリジェントなルーティングを活用し、SWE-bench Verified（ソフトウェア開発タスクをAIモデルの実装能力で評価するベンチマーク）において最先端モデルに匹敵する精度を維持しながら、モデル全体のコストを25％削減しました。
これらの事例は、AIインフラの導入において、GPUクラスター（複数のGPUを連携させた計算基盤）の調達だけでなく、モデルの選択や処理の振り分けを含めたソフトウェアアーキテクチャの最適化が重要であることを示しています。
