Recursive Multi-Agent Systems
Abstractの概要
本論文は、異種LLMエージェントをテキスト交換ではなく潜在空間における再帰ループで接続するマルチエージェントフレームワーク「RecursiveMAS」を提案する。このフレームワークは軽量なRecursiveLinkモジュールを使用し、各エージェント内での潜在思考生成を行うインナーリンクと、異なるタイプやサイズのエージェント間で隠れ表現を転送するアウターリンクで構成される。学習は2段階のインナー・アウターループ手順で行われ、インナーループは各エージェントの潜在生成能力をウォームスタートし、アウターループは共有勾配ベースのクレジット割り当てを通じて複数の再帰ラウンドにわたるエージェント間協調を最適化する。ランタイム複雑性と勾配安定性に関する理論的分析が提供される。本フレームワークは、数学、科学、医学、検索、コード生成にまたがる9つのベンチマークと4つの協調パターンで評価されている。
新規性
主な新規性は、再帰的潜在空間計算を単一の言語モデルから異種マルチエージェントシステム全体に拡張し、エージェントループ全体を統一的な再帰計算として扱う点にある。RecursiveLinkメカニズムとインナー・アウターループ学習スキームにより、中間テキストデコーディングなしにエージェント間の潜在協調が可能となり、著者らはこれをシステムレベルでの再帰スケーリングを適用する最初の試みと述べている。
成果
RecursiveMASは、各ベンチマーク（AIME2025、AIME2026、GPQA-Diamond、MATH500、MedQA、LiveCodeBenchを含む）において最強のベースラインに対して平均8.3%の精度向上を報告し、テキストベースの再帰的マルチエージェントインタラクションと比較して1.2倍から2.4倍のエンドツーエンド推論高速化と34.6%から75.6%のトークン削減を達成している。軽量なRecursiveLinkモジュール（1312万パラメータ、全体の0.31%）のみの学習で、LoRAや完全教師ありファインチューニングよりも高い精度を、より低いGPUメモリと推定コストで達成している。
論文の注目点
- RecursiveMASは軽量なインナーおよびアウターRecursiveLinkモジュールを用いて異種エージェントを再帰的潜在空間ループで接続し、リンクパラメータ（全体の0.31%）のみを学習しながら全LLMエージェントパラメータは凍結したままである。
- 理論的分析により、潜在空間再帰はステップごとの高コストな語彙空間デコーディング（コストは語彙サイズ|V|に比例）をより安価な潜在変換に置き換え、テキスト媒介再帰における勾配消失と比較して逆伝播中にほぼ一定の勾配ノルムを維持することが示されている。
- 9つのベンチマークと4つの協調パターン（逐次、混合、蒸留、審議）にわたり、RecursiveMASは最強のベースラインに対して平均8.3%の精度向上を達成しつつ、推論時間を最大2.4倍削減し、トークン使用量を最大75.6%削減している。
参考リンク
- arXiv: https://arxiv.org/abs/2604.25917v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2604.25917v1
- Hugging Face Papers: https://huggingface.co/papers/2604.25917
- Project: https://recursivemas.github.io