Multi-Agent Relay Thinking
Abstractの概要
本論文では、並列的な集団思考を、生成中に推論の主導権をエージェント間で引き継ぐリレースタイルのプロセスに置き換えるマルチエージェント協調フレームワーク「Multi-Agent Confidence-guided Relay（Macr）」を提案している。この手法では、異種ビジョン言語モデル間で局所的な確信度スコアを較正して確信度を比較可能にし、これらのスコアを用いて開始モデルの選択、推論のボトルネックの検出、およびオンライン入札による次のエージェントの選定を行う。MathVista、LogicVista、MMStar、HallusionBenchの4つのマルチモーダルベンチマークにおいて、3つのモデルプールを用いて実験が実施された。その結果、リレーベースの協調は不要な生成オーバーヘッドを削減しながら、異なる推論段階にわたるモデルの補完的な強みを組み合わせられることが示されている。
新規性
主な新規性は、エージェントが後から集約するために個別に完全な解を生成するのではなく、共有された推論の軌跡を順次継承して洗練させるマルチエージェント推論用のリレー思考トポロジーを導入した点にある。もう一つの際立った貢献は、異種モデル間でウィンドウレベルの確信度を較正し、比較可能な局所的確信度に基づくリアルタイムのモデル間ハンドオフを可能にしたことである。
成果
Macrは報告された正解率において最強の単一モデル戦略を一貫して上回り、MathVistaで+3.30%、MMStarで+3.87%の向上などを達成した。また、よりトークン消費の多い強力なマルチエージェントベースラインと同等の正解率を達成しつつ、HallusionBenchやMMStarにおいてH-DMADと比べて6.0倍低いトークンオーバーヘッドを実現している。追加の分析では、モデルが能力や推論段階にわたって補完的な強みを示すこと、および確信度主導のリレーが固定的な開始・ルーティング・トリガーのバリアントを上回ることが示されている。
論文の注目点
- Macrは較正されたスライディングウィンドウの確信度を用いて、生成をいつリレーすべきか、どのモデルが引き継ぐべきかを決定する。
- 本フレームワークは、マルチエージェント協調を並列的な回答集約から共有推論チェーンの順次洗練へと移行させる。
- 実証結果により、単一モデルのベースラインに対する正解率の向上と、より負荷の高いマルチエージェント手法に対する大幅な効率改善が示されている。