論文の概要: SID: Multi-LLM Debate Driven by Self Signals
- arxiv url: http://arxiv.org/abs/2510.06843v1
- Date: Wed, 08 Oct 2025 10:10:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.414866
- Title: SID: Multi-LLM Debate Driven by Self Signals
- Title(参考訳): SID: 自己信号によるマルチLLM議論
- Authors: Xuhang Chen, Zhifan Song, Deyi Ji, Shuo Gao, Lanyun Zhu,
- Abstract要約: SID(Self-Signals-Driven Multi-LLM Debate)
SID(Self-Signals-Driven Multi-LLM Debate)を導入する。
提案手法は,高信頼エージェントをモデルレベルで早期に退避させ,注意機構に基づく冗長な議論内容の圧縮を可能にする。
- 参考スコア(独自算出の注目度): 17.45752619450614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have exhibited impressive capabilities across diverse application domains. Recent work has explored Multi-LLM Agent Debate (MAD) as a way to enhance performance by enabling multiple LLMs to discuss and refine responses iteratively. Nevertheless, existing MAD methods predominantly focus on utilizing external structures, such as debate graphs, using LLM-as-a-Judge, while neglecting the application of self signals, such as token logits and attention, that arise during generation. This omission leads to redundant computation and potential performance degradation. In this paper, we shift the focus to the self signals of multi-LLM debate and introduce a Self-Signals Driven Multi-LLM Debate (SID), which leverages two types of self-signals: model-level confidence and token-level semantic focus, to adaptively guide the debate process. Our approach enables high-confidence agents to exit early at the model level and compress the redundant debate contents based on the attention mechanism. We evaluate our method on various LLMs and Multimodal LLMs across multiple challenging benchmarks. Experimental results demonstrate that our method not only outperforms existing MAD techniques in accuracy but also reduces token consumption, highlighting the effectiveness of utilizing self signals in enhancing both the performance and efficiency of multi-agent debate systems. Our code will be available at~\href{https://github.com/xuhang2019/SID}{\texttt{https://github.com/xuhang2019/SID}}.
- Abstract(参考訳): 大きな言語モデル(LLM)は、様々なアプリケーションドメインにまたがる印象的な機能を示しています。
近年,マルチLLMエージェント・ディベート (MAD) を複数のLCMを反復的に議論し,応答を洗練させることにより,性能を向上させる手法として検討している。
それにもかかわらず、既存のMAD法は、生成時に発生するトークンのロジットや注意といった自己信号の適用を無視しながら、LLM-as-a-Judgeを用いた議論グラフのような外部構造の利用に主に焦点を当てている。
この省略は冗長な計算と潜在的な性能劣化につながる。
本稿では、マルチLLM議論の自己信号に焦点を移し、モデルレベルの信頼とトークンレベルのセマンティックフォーカスという2つのタイプの自己信号を利用する自己署名駆動型マルチLLM議論(SID)を導入し、議論プロセスを適応的に導く。
提案手法は,高信頼エージェントをモデルレベルで早期に退避させ,注意機構に基づく冗長な議論内容の圧縮を可能にする。
提案手法は, 様々な LLM とマルチモーダル LLM を用いて, 複数のベンチマークで評価する。
実験結果から,提案手法は既存のMAD技術よりも精度が高いだけでなく,トークン消費量も低減し,マルチエージェント討論システムの性能と効率を向上する自己信号の利用の有効性を強調した。
私たちのコードは、~\href{https://github.com/xuhang2019/SID}{\textt{https://github.com/xuhang2019/SID}}で利用可能です。
関連論文リスト
- Prepare Reasoning Language Models for Multi-Agent Debate with Self-Debate Reinforcement Learning [49.99694105650486]
自己決定強化学習(Self-Debate Reinforcement Learning, SDRL)は、強力な問題解決能力を持つ単一の大規模言語モデルを備えたトレーニングフレームワークである。
我々は,SDRLが単一モデル推論を同時に強化しつつ,総合的マルチエージェント議論(MAD)性能を向上させることを示す。
論文 参考訳(メタデータ) (2026-01-29T20:21:44Z) - A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。
本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。
層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文 参考訳(メタデータ) (2025-11-19T04:13:36Z) - MADIAVE: Multi-Agent Debate for Implicit Attribute Value Extraction [52.89860691282002]
インプシット属性値抽出(AVE)は、電子商取引における商品の正確な表現に不可欠である。
マルチモーダル大言語モデル(MLLM)の進歩にもかかわらず、多次元データの複雑さのため暗黙のAVEは依然として困難である。
我々は,複数のMLLMエージェントを用いて推論を反復的に洗練するマルチエージェント討論フレームワークであるtextscmodelnameを紹介する。
論文 参考訳(メタデータ) (2025-10-07T06:27:42Z) - PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning [54.73049408950049]
モーダリティ適応型学習を伴う効率的な統一マルチモーダル検索のための階層型言語モデルを提案する。
本手法は,構造的,学習的両面からの統合的マルチモーダル検索を改善する。
論文 参考訳(メタデータ) (2025-07-10T16:47:25Z) - CortexDebate: Debating Sparsely and Equally for Multi-Agent Debate [11.155092859033784]
単一大言語モデル(LLM)の問題を緩和するための効果的な戦略としてマルチエージェント議論(MAD)が登場した。
既存のMAD手法では、 (a) LLMエージェントが多くの入力情報に紛失し、性能低下を経験する、 (b) 自信過剰なジレンマ(自己保証LDMエージェントが議論を支配し、議論の有効性を低くする、という2つの問題に直面している。
そこで我々は,ヒトの脳に着想を得た新しいMAD手法"CortexDebate"を提案する。
論文 参考訳(メタデータ) (2025-07-05T07:23:15Z) - Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳(メタデータ) (2023-12-07T13:53:29Z) - Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs [7.7433783185451075]
コスト、時間、正確性の間のトレードオフを探るため、さまざまな議論と戦略をベンチマークします。
マルチエージェントの議論システムは、現在の形式では、他の提案されたプロンプト戦略を確実に上回っているわけではない。
これらの結果に基づいて、エージェント合意レベルの調整など、議論戦略の改善に関する洞察を提供する。
論文 参考訳(メタデータ) (2023-11-29T05:54:41Z) - Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。