論文の概要: CUSP: Decomposable Collective Uncertainty for Multi-Agent Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2609.05708v1
- Date: Fri, 04 Sep 2026 20:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.110824
- Title: CUSP: Decomposable Collective Uncertainty for Multi-Agent Multimodal Reasoning
- Title（参考訳）: CUSP:マルチエージェントマルチモーダル推論のための分解可能な集合不確実性
- Abstract要約: 本稿では,複数のVLM応答を共有意味応答空間にマッピングする訓練不要不確実性フレームワークCUSPを提案する。
本稿では,集合的不確実性,プール化意見の分散,ジェンセン・シャノン発散(JSD)の2つの相補的システムレベル信号について報告する。
静的なマルチVLMアンサンブルでは、集合的不確実性は小モデル状態において最強の信号である。
- 参考スコア（独自算出の注目度）: 6.428392127849263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aggregating heterogeneous vision-language models (VLMs) can improve multimodal reasoning, but neither an individual model's confidence nor that of the aggregated answer measures reliability at the system level. We present CUSP (Collective Uncertainty through Semantic Opinion Pooling), a training-free uncertainty quantification framework that maps multiple VLM responses to a shared semantic response space, pools them into a pooled semantic opinion, and reports two complementary system-level signals: collective uncertainty, the dispersion of the pooled opinion, and Jensen-Shannon divergence (JSD), the conflict among the model-level opinions. Within this pooled semantic opinion, the unnormalized collective entropy decomposes exactly into the mean of the models' individual semantic entropies and the JSD, separating total dispersion from model conflict. Requiring neither token logits nor calibration labels, CUSP applies to open-weight and commercial VLMs alike. In static multi-VLM ensembles, collective uncertainty is the strongest signal in the small-model regime (0.764 AUROC for prediction-error detection, 0.889 AUARC for abstention), outperforming uncertainty baselines majority voting and naive selection by 4.7 to 15.8 points and widening its margin as the ensemble grows; JSD is strongest in the evaluated commercial regime (0.819 AUROC, 0.910 AUARC) and ranks hard-answer model conflict with AUROC up to 0.982. The pooled prediction also improves accuracy over the average single model by 5.6 to 13.0 points. Over the full trajectory of a multi-step, multi-agent system, subagent collective uncertainty ranks system failures above chance (0.619 AUROC) and gives the best abstention ordering among the evaluated signals (0.699 AUARC).
- Abstract（参考訳）: 不均一視覚言語モデル(VLM)の集約はマルチモーダル推論を改善するが、個々のモデルの信頼性や集約された回答の信頼性はシステムレベルで測定されない。
本稿では,複数のVLM応答を共有セマンティック応答空間にマッピングし,それらをプールされたセマンティックな意見にプーリングする学習自由不確実性定量化フレームワークであるCUSPについて紹介し,これら2つの相補的なシステムレベルの信号である集合不確実性,プールされた意見の分散,およびモデルレベルの意見間の対立であるJensen-Shannon分散(JSD)について報告する。
このプール化されたセマンティックな意見の中で、非正規化された集合エントロピーは、モデルの個々のセマンティックなエントロピーとJSDの平均に完全に分解され、モデルの衝突から完全な分散が分離される。
トークンロジットもキャリブレーションラベルも必要とせず、CUSPはオープンウェイトおよび商用のVLMにも適用される。
静的マルチVLMアンサンブルでは、集合的不確実性は、小モデル体制(0.764 AUROCは予測エラー検出、0.889 AUARCは棄権)において最強の信号であり、アンサンブルが成長するにつれて、多数決投票とナイーブ選択を4.7から15.8ポイントで上回り、そのマージンを広げている。
プールされた予測は平均的な単一モデルの精度を5.6から13.0ポイント向上させる。
多段階のマルチエージェントシステムの完全な軌道上で、サブエージェントの集団不確実性はシステム障害の確率以上 (0.619 AUROC) をランク付けし、評価された信号 (0.699 AUARC) の中で最良の停止順序を与える。
関連論文リスト
- Calibration-Aware Uncertainty Cascades for Efficient Heterogeneous Model Collaboration [18.045450334322545]
不均一なモデルコラボレーションは、予測性能と推論コストのバランスをとるために、異なるモデルの相補的な強みを活用することを目指している。
既存のアプローチでは、ルーティング決定を固定されたタスクとモデルプールに結びつける訓練されたルータや、しきい値が不均一なモデル間で一貫性のあるセマンティクスを欠いている生の自信のカスケードに頼っているのが一般的である。
本稿では,各モデルの信頼性を独立に校正し,検証データを用いてデプロイメントポリシを選択する,シンプルなポストホックフレームワークであるCAUCを提案する。
論文 参考訳（メタデータ） (2026-09-10T12:14:54Z) - Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-05-29T03:44:19Z) - OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。
我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
論文 参考訳（メタデータ） (2026-05-19T04:13:27Z) - Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation [0.0]
政策シミュレーションにおいて,大規模言語モデル(LLM)を用いたマルチエージェント検討システムの提案が進んでいる。
評価エージェントは、割り当てられた値の観点に関わらず、同じ選択肢に収束する。
我々は、三段階の審議フレームワークであるAI Councilを提示し、2つの介入をテストするための2つの政策シナリオにわたる120の審議を行う。
論文 参考訳（メタデータ） (2026-04-29T11:47:28Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - SCoOP: Semantic Consistent Opinion Pooling for Uncertainty Quantification in Multiple Vision-Language Model Systems [6.96926551349545]
マルチVLMシステムのためのSCoOP(Semantic-Consistent Opinion Pooling)を提案する。
中心となる考え方は、各VLMを確率的「専門家」として扱い、複数の出力をサンプリングし、それらを統一された空間にマッピングし、意見を集約し、システムレベルの不確実性スコアを生成することである。
ScienceQAでは、SCoOPは幻覚検出のための0.866のAUROCを達成し、ベースライン(0.732-0.757)を約10-13%上回る。
禁忌の場合、AURACは0.907で、ベースライン(0.818-0.840)を7-9%上回る。
論文 参考訳（メタデータ） (2026-03-25T02:30:48Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Harnessing Consistency for Robust Test-Time LLM Ensemble [88.55393815158608]
CoREは、堅牢なLLMアンサンブルにモデル一貫性を利用するプラグイン・アンド・プレイ技術である。
トークンレベルの一貫性は、ダウンウェイト不確実なトークンにローパスフィルタを適用することで、きめ細かい不一致を捕捉する。
モデルレベルの一貫性は、自己自信の高いモデル出力を促進することで、グローバルな合意をモデル化する。
論文 参考訳（メタデータ） (2025-10-12T04:18:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。