論文の概要: Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages
- arxiv url: http://arxiv.org/abs/2608.14375v1
- Date: Fri, 14 Aug 2026 15:16:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.417241
- Title: Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages
- Title（参考訳）: 誤りだが役に立つ:マルチエージェントメッセージにおける答えの正確性を超えた軌道値
- Abstract要約: マルチエージェント推論システムは、合意、信頼、あるいは自動スコアを使用して、どのメッセージが最終回答になるかを決定する。
しかし、間違った答えは、有用な分解、制約、または科学的原理を含むことができる。
この区別は、5つの独立に生成されたメッセージをキャッシュする制御された測定プロトコルであるDHD(Diverse hypothesis Deliberation)で検証する。
- 参考スコア（独自算出の注目度）: 44.340269814027174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent reasoning systems often use agreement, confidence, or automated scores to decide which messages should shape a final answer. Such filtering assumes that a message likely to be correct is also worth keeping. Yet a wrong answer can contain a useful decomposition, constraint, or scientific principle. We test this distinction with Diverse Hypothesis Deliberation (DHD), a controlled measurement protocol that caches five independently generated messages and replays the same downstream solver, called the integrator, with each message available or hidden. The replay comparison measures a message's trajectory value: whether making the message available helps or harms subsequent reasoning. Across five mathematics and science benchmarks and two openly available model families, gpt-oss-120b and gemma-4-31B-it, wrong-helpful messages appear in every benchmark-model combination. Among wrong-answer messages that change final correctness, more than four in ten changes are helpful in each model. Controlled repeats show that the number of repeatable message effects is unlikely to arise from replay variation alone (p=0.0002). A focused intervention on repeatable wrong-helpful messages finds that the complete message works best, while retaining its reasoning preserves more success than retaining only its answer; the source of the complete-message advantage remains open. Within the same problem, repeated trajectory-value evidence also identifies a better keep-or-remove choice than answer correctness alone. Answer correctness is therefore informative but does not determine trajectory value. DHD measures this missing property and produces reusable labels for learning when agents should listen.
- Abstract（参考訳）: マルチエージェント推論システムは、合意、信頼、あるいは自動スコアを使用して、どのメッセージが最終回答になるかを決定する。
このようなフィルタリングは、メッセージが正しい可能性が高いと仮定する。
しかし、間違った答えは、有用な分解、制約、または科学的原理を含むことができる。
制御された測定プロトコルであるDiverse hypothesis Deliberation (DHD)を用いて、独立に生成された5つのメッセージをキャッシュし、各メッセージが利用可能または隠蔽されたインテグレータと呼ばれる同じダウンストリームソルバを再生する。
リプレイ比較はメッセージの軌道値を測定します。
5つの数学と科学のベンチマークと、gpt-oss-120bとgemma-4-31B-itの2つの公開モデルファミリが、すべてのベンチマークとモデルの組み合わせに現れる。
最終的な正しさを変える誤った回答メッセージの中で、各モデルに4つ以上の変更が役立ちます。
制御された繰り返しは、繰り返し可能なメッセージエフェクトの数は、リプレイのバリエーションだけでは起こりそうにないことを示している(p=0.0002)。
繰り返し可能な誤ったメッセージに対する集中的な介入は、完全なメッセージが最善であるのに対して、その推論は答えのみを保持するよりも成功を保っている。
同じ問題の中で、反復的な軌跡値の証拠は、正当性のみに答えるよりも、より良い維持または除去の選択を識別する。
したがって、答えの正しさは有益であるが、軌跡値を決定するものではない。
DHDはこの欠落した資産を測定し、エージェントが耳を傾けるべきときの学習のために再利用可能なラベルを生成する。
関連論文リスト
- Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。
答えの正しさはあらゆるレベルで問題を構成する。
論文 参考訳（メタデータ） (2026-07-26T04:43:53Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Does Verbose Chain-of-Thought Really Help? In-Distribution Evidence that Content, Not Length, Matters [10.230437172157474]
思考の連鎖はLSM推論を改善するが、ソースは競合する。
それぞれのモデルを同じ質問に繰り返しサンプリングし、同じ推論計画に従って、より長い自然世代とペアリングする。
余分なトークンは、独立に訓練されたすべての理性者に対して、本質的には変化しない。
同じ意味的内容を表す2つのトレースが、より冗長な場合に異なる結果をもたらすかどうかを問う。
論文 参考訳（メタデータ） (2026-06-29T11:06:46Z) - Trust but Verify: Prover-Verifier Deliberation for Selective LLM Prediction [4.273094752480624]
本稿では,対話的証明理論に基づく推論時間プロトコルであるPVDを導入する。
PVDは回答と構造化された信頼判定の両方を生成し、システムは不確実なケースを棄却しながら高信頼の回答を報告できる。
論文 参考訳（メタデータ） (2026-05-24T15:23:27Z) - Reliable Chain-of-Thought via Prefix Consistency [6.053609157192373]
正しい回答を持つトレースは、間違った回答を持つトレースよりも、元の回答を頻繁に再現する。
この違いを信頼性信号、プレフィックス一貫性として使用し、各候補の回答を再生の頻度によって重み付けします。
論文 参考訳（メタデータ） (2026-05-08T12:28:05Z) - QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs [43.011999511057134]
QuantileMarkは、メッセージを累積確率間隔内に埋め込むホワイトボックスの透かしである。
この間隔を$M$等質量ビンに分割し、ターゲットシンボルに割り当てられたビンから厳密にサンプリングする。
検出のために、検証者は教師の強制の下で同じ分割を再構築し、潜伏したビンの後方を計算し、検証の証拠を集計する。
論文 参考訳（メタデータ） (2026-04-15T12:22:40Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - Gaming the Answer Matcher: Examining the Impact of Text Manipulation on Automated Judgment [6.104512852467398]
自動回答マッチングは、人間の評価に代わるスケーラブルで整合性のあるものとして、かなり有望である。
本研究では,このような手法が,受験者モデルに冗長な応答を生じさせるよう促すことで,回答マッチングモデルを欺くかどうかを検討する。
以上の結果から,これらの操作ではスコアが増加せず,しばしば減少することが示された。
論文 参考訳（メタデータ） (2025-12-22T17:39:13Z) - High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning [84.52940628494879]
大規模言語モデル(LLM)は現在、すべてのプロンプトに応答する。
LLMは、知識や能力の欠如によって、誤った答えを生み出すことができる。
本稿では,その正確性に自信を持った場合にのみコンテンツを生成するためのLCMのポストトレーニングを提案する。
論文 参考訳（メタデータ） (2025-06-04T15:16:21Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳（メタデータ） (2025-04-29T12:39:07Z) - AutoReply: Detecting Nonsense in Dialogue Introspectively with
Discriminative Replies [71.62832112141913]
対話モデルは、不適切なメッセージを示す応答の確率を計算し、内観的に自分のメッセージの誤りを検出することができることを示す。
まず、手作りの返信は外交と同じくらい複雑なアプリケーションにおけるナンセンスを検出するタスクに有効であることを示す。
AutoReplyの生成した応答は手作りの応答よりも優れており、慎重に調整された大規模な教師付きモデルと同等に動作することがわかった。
論文 参考訳（メタデータ） (2022-11-22T22:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。