論文の概要: COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference
- arxiv url: http://arxiv.org/abs/2609.26913v1
- Date: Tue, 22 Sep 2026 18:10:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.721316
- Title: COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference
- Title(参考訳): COMED:マルチLLM推論におけるルーティングとコラボレーションの中間の欠如
- Abstract要約: 単一のLarge Language Model (LLM) はクエリ間で一様に信頼性がない。
ペアは、モデルだけでは解決できない失敗を回復できますが、最初は正しい答えを損なうことも可能です。
選択型クロスモデル協調のためのポストアンカーコントローラであるCOMEDを紹介する。
- 参考スコア(独自算出の注目度): 42.95442941602803
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: No single Large Language Model (LLM) is uniformly reliable across queries, motivating multi-model inference systems that either route among models or combine their outputs. However, routing stops after selecting an initial model, while dense collaboration invokes peers on every query. We show that collaboration is non-monotonic: peers can recover failures that no model solves alone, but can also corrupt initially correct answers. We introduce COMED (Controlled Model Escalation for Multi-LLM Deliberation), a post-anchor controller for selective cross-model collaboration. COMED uses anchor self-consistency, router margin, and a lightweight peer probe to accept confident answers, verify ambiguous cases, and escalate only when collaboration is likely beneficial. We formalize this trade-off with a rescue-harm decomposition showing that selective collaboration improves when rescued errors outweigh collaboration-induced harms. Across medical, scientific, and general reasoning benchmarks, COMED improves fixed and routed anchors in all 16 open-weight settings, with gains up to +10.7 percentage points on MedQA while invoking fewer models and using fewer decoded tokens than dense collaboration. On HLE with frontier models, COMED improves GPT-5.5 from 23.1% to 28.1%, outperforming dense collaboration and achieving the best results.
- Abstract(参考訳): 単一のLarge Language Model (LLM) はクエリ全体にわたって一様に信頼性を持たず、モデル間をルーティングするか、出力を結合するマルチモデル推論システムを動機付けている。
しかし、初期モデルを選択するとルーティングが停止し、密集したコラボレーションがクエリ毎にピアを呼び出す。
ペアは、モデルだけでは解決できない失敗を回復できますが、最初は正しい答えを損なうことも可能です。
COMED (Controlled Model Escalation for Multi-LLM Deliberation) は,選択型クロスモデル協調のためのポストアンカーコントローラである。
COMEDは、アンカー自己整合性、ルータマージン、および軽量なピアプローブを使用して、自信ある回答を受け入れ、曖昧なケースを検証し、コラボレーションが有益な場合にのみエスカレートする。
我々は、このトレードオフを、救難・救難の分解によって形式化し、救助されたエラーが協力による害を上回る場合に、選択的協調が改善することを示す。
医学、科学、一般的な推論のベンチマーク全体で、COMEDは16のオープンウェイトな設定で固定およびルート付きアンカーを改善し、MedQAでは+10.7ポイントまで上昇する一方で、より少ないモデルの呼び出しや、密集したコラボレーションよりもデコードされたトークンの使用が少ない。
HLE とフロンティアモデルでは、COMED は GPT-5.5 を 23.1% から 28.1% に改善し、密集したコラボレーションを上回り、最高の結果を得た。
関連論文リスト
- CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging [59.836482609414816]
モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。
CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。
実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
論文 参考訳(メタデータ) (2026-09-02T08:21:28Z) - Don't Commit Alone: Joint Token Commitment in Diffusion Large Language Models [0.6916773850242582]
マーカー付きコーディネーションパスであるCoCommitを提案する。
LLaDA2.1-miniとLoRAアダプタと一致したグリーディ推論では、共同コミットメントは評価した6つのベンチマークの正確性を改善する。
論文 参考訳(メタデータ) (2026-07-05T19:29:13Z) - Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。
筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。
これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
論文 参考訳(メタデータ) (2026-06-29T12:30:24Z) - Understanding-Enhanced Model Collaboration for Long-Tailed Egocentric Mistake Detection [85.49213290363834]
理解力向上型モデル協調手法(UE-MCM)を提案する。
より効率的な粗いビデオ理解と正確なきめ細かなアクション推論を組み合わせる。
結果として得られるシステムは速度と精度のバランスを保ち、エゴセントリックな指導ビデオの微妙で稀で曖昧な誤りを検出するのに効果的である。
論文 参考訳(メタデータ) (2026-06-01T11:50:16Z) - Internalizing Self-Consistency in Language Models: Multi-Agent Consensus Alignment [22.305033366660187]
言語モデル(LM)は矛盾する推論子であり、しばしば同じプロンプトに対する矛盾した応答を生成する。
適切に整合した推論モデルの本質的な性質として自己整合性を定式化し、MACA(Multi-Agent Consensus Alignment)を導入する。
MACAは、エージェントが自分自身をより決定的かつ簡潔に教えることを可能にし、外部の監督なしにマルチエージェント設定におけるピアインサイトをより活用する。
論文 参考訳(メタデータ) (2025-09-18T17:27:28Z) - When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。
タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文 参考訳(メタデータ) (2025-02-21T02:24:43Z) - If You Can't Use Them, Recycle Them: Optimizing Merging at Scale Mitigates Performance Tradeoffs [48.95875673503714]
多くのタスクで訓練された"ジェネラリスト"モデルをマージすることを研究する。
提案アルゴリズムは,各チェックポイントの重みを線形結合で調整し,最適モデルを生成する。
良いマージは、ほとんどすべてのチェックポイントとゼロでない重みを含む傾向があり、一見して悪い初期チェックポイントでさえ、良い最終マージに寄与することを示している。
論文 参考訳(メタデータ) (2024-12-05T13:12:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。