論文の概要: Candidate supply and answer selection shape the value of LLM judging in multi-agent systems

• arxiv url: http://arxiv.org/abs/2608.25937v2
• Date: Sun, 30 Aug 2026 17:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.688878
• Title: Candidate supply and answer selection shape the value of LLM judging in multi-agent systems
• Title（参考訳）: マルチエージェントシステムにおけるLCM判定値の候補供給と解答の選択形式
• Abstract要約: 正しい答えは、しばしば生成された候補の中に存在しているが、システムは依然として収束し、間違った答えを報告することができる。 筆者らは,(1) LLM判事がマルチエージェントシステムで生成した候補に対して,回答正解の信号を供給することによって,効果的な選択圧を与える場合,(2)その信号を用いることで回答が向上する場合の2つの質問について検討した。
• 参考スコア（独自算出の注目度）: 4.178517265499193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent systems (MAS) sometimes already have the potential to answer correctly, but still report a wrong answer. Explaining this outcome is difficult because generation, communication and final answer-selection rules usually change simultaneously. We conceptualize multi-agent reasoning as an evolutionary pipeline of candidate generation, peer communication and terminal selection, wherein consensus without quality control can exhibit patterns of memetic drift. We study two questions: (1) when an LLM judge provides effective selection pressure by supplying a signal of answer correctness for candidates generated in a multi-agent system, and (2) when using that signal improves the reported answer. To map judge reliability, we analysed 15,336 questions from MMLU-Pro, GPQA, MedXpertQA and MuSR, with Humanity's Last Exam analysed separately. To test these rules, we replayed 81,390 fixed candidate pools drawn from 16,278 questions across five benchmarks. We report three findings. (1) A correct answer is often already present among the generated candidates, but the system can still converge on and report a wrong answer. (2) Judge reliability is not a fixed trait of the model, but varies with the task, the generator and how rare the correct answer is. (3) Combining answer frequency with the judge's evaluation changed only the final answer-selection rule and raised accuracy from 63.82% to 70.82-70.95%, primarily by rescuing correct answers that were outnumbered by popular errors. In the systems studied here, the value of generating more candidates depends on whether those extra samples make correct answers present, frequent or recognisable. By isolating generation, recognition and selection, these findings establish a diagnostic basis for designing multi-agent architectures that protect generated correct answers from being lost.
• Abstract（参考訳）: マルチエージェントシステム(MAS)は、時には正しく答える可能性があるが、いまだに間違った答えを報告している。 生成、コミュニケーション、最終回答選択ルールが通常同時に変化するため、この結果を説明するのは難しいです。 我々は,マルチエージェント推論を,候補生成,ピア通信,端末選択の進化的パイプラインとして概念化し,品質制御のないコンセンサスによってメメティックドリフトのパターンを示す。 筆者らは,(1) LLM判事がマルチエージェントシステムで生成した候補に対して,回答正解の信号を供給することによって,効果的な選択圧を与える場合,(2)その信号を用いることで回答が向上する場合の2つの質問について検討した。 我々はMMLU-Pro,GPQA,MedXpertQA,MuSRから15,336の質問を分析し,HumanityのLast Examを別々に分析した。 これらのルールをテストするため、5つのベンチマークで16,278の質問から得られた81,390の固定候補プールをリプレイした。 我々は3つの発見を報告した。 1) 生成した候補には正解がすでに存在していることが多いが, システムは依然として収束し, 誤答を報告することができる。 2) 判断信頼性は, モデルの固定特性ではなく, タスク, ジェネレータ, 正解がいかに稀であるかによって変化し, (3) 判定周波数と判定値の組合せは最終回答選択規則のみを変更し, 63.82% から 70.82-70.95% まで精度を上げた。 ここで調べられたシステムでは、より多くの候補を生成する価値は、これらの余分なサンプルが正しい答えを提示するか、頻繁であるか、認識可能かに依存する。 これらの発見は、生成、認識、選択を分離することにより、生成した正しい回答が失われないようにするマルチエージェントアーキテクチャを設計するための診断基盤を確立する。

関連論文リスト

• A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
  本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。 その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
  論文  参考訳（メタデータ） (2026-08-17T21:02:10Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• Answer Matching Outperforms Multiple Choice for Language Model Evaluation [35.90520208701438]
  人気のあるベンチマークから選択した複数の質問が、その質問を見ることなく答えられることがよくあります。 応答マッチングと呼ばれる手法による生成的評価について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:02Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
  シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。 英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
  論文  参考訳（メタデータ） (2021-06-02T05:45:49Z)
• MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection [59.95429407899612]
  そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。 我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。 我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-10T10:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。