論文の概要: What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA
- arxiv url: http://arxiv.org/abs/2610.00018v1
- Date: Mon, 27 Jul 2026 15:52:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.311653
- Title: What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA
- Title（参考訳）: 合理化とは何か : 役割特化QAにおけるメッセージ干渉研究
- Abstract要約: 役割特化QAパイプラインは、推論器から検証器に合理性を渡す傾向にある。
このメッセージが実際に何を買うのかは不明だ: より良い回答、より強力なサポートアセスメント、新しい失敗サーフェス。
提案手法では, 検証境界を越える有理性のみを変化させながら, 証拠と候補の回答を補正するメッセージ干渉診断手法を提案する。
- 参考スコア（独自算出の注目度）: 14.56071188826705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Role-specialized QA pipelines increasingly pass rationales from a reasoner to a verifier, but it is unclear what this message actually buys: better answers, stronger support assessment, or a new failure surface. We introduce a message-intervention diagnostic that fixes the evidence and candidate answer while varying only the rationale passed across the reasoner-to-verifier boundary. On 400 MuSiQue, HotpotQA, and 2WikiMultiHopQA examples with DeepSeek as generator and verifier, faithful rationales add almost no answer accuracy over no rationale, while corrupted rationales strongly alter support judgments. Under a blind verifier prompt, harmless paraphrases shift support by only 0--2.5%, whereas corrupted rationales shift support by 10--22%; an explicit rationale-checking prompt amplifies the same pattern to 34--55%. Final answers move less (2--30%), and only 2.9--35.3% of corrupted support flips co-occur with answer changes. Human audits show why this matters: 16/42 valid corruptions are corruption-overtrust cases, and blind humans reject or mark unclear 9/10 audited corrupted rationales that the model accepts. Cross-model and task-boundary checks show when the channel is active, amplified, inert, or folded into the task label. Rationale sharing should be evaluated as a verification-message mechanism, not merely as a route to higher answer accuracy.
- Abstract（参考訳）: ロール特化QAパイプラインは、推論者から検証者へ合理性を渡す傾向にあるが、このメッセージが実際に何を買うのかは、より優れた回答、より強力なサポートアセスメント、あるいは新しい障害面である。
提案手法では, 検証境界を越える有理性のみを変化させながら, 証拠と候補の回答を補正するメッセージ干渉診断手法を提案する。
400 MuSiQue、HotpotQA、および2WikiMultiHopQAの例では、DeepSeekをジェネレータと検証子として、忠実な理性は理性についてほとんど答えの正確さを加えず、腐敗した理性は支援判断を強く変えている。
ブラインド検証プロンプトでは、無害なパラフレーズは0--2.5%しかサポートをシフトしないが、破損した有理性は10--22%、明示的な有理性検査プロンプトは同じパターンを34--55%に増幅する。最終的な回答は2-30%以下に減少し、2.9-35.3%に留まる。
16/42の有効な汚職は汚職過失の事件であり、盲目の人間はモデルが受け入れる不明瞭な9/10の監査された汚職の根拠を拒絶またはマークする。
クロスモデルおよびタスク境界チェックは、チャンネルがアクティブ、増幅、不活性、あるいはタスクラベルに折り畳まれたときに表示される。
Rationaleの共有は、単に回答の正確性を高めるためのルートとしてではなく、検証メッセージのメカニズムとして評価されるべきである。
関連論文リスト
- When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment [76.62469105933384]
大規模言語モデル (LLM) は、ある答えにたどり着くためのショートカットを頼りにし、その決定を合理化する。
ConfLensは、推論を通じて最終的な回答における信頼の進化を追跡するフレームワークです。
本稿では,解答コミットメントに対する確率分布のエントロピーを測定するために,DACS(Distributal Answer Commitment Score)を提案する。
論文 参考訳（メタデータ） (2026-09-28T13:00:25Z) - Regime Boundary Alignment for Evidence-Gated Question Answering [14.305051281043378]
RBA(Regime Boundary Alignment)は、同じ質問と金の答えの一致した変種について、単一の読者を訓練する。
3つの種にまたがる3つのマルチホップQAデータセットでは、RCAはサポート対象の回答率を60パーセント以上削減する。
結果は, 支持境界の両側で, 証拠有意な回答を学ばなければならないことを示唆している。
論文 参考訳（メタデータ） (2026-09-25T18:48:13Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。
EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
論文 参考訳（メタデータ） (2026-09-15T12:18:19Z) - Prompt-Based Abstention Fails Under Misleading Context: A Controlled Study of Small Frozen RAG Models [0.0]
誤りや誤解を招く証拠は、検索強化世代でも同じ問題ではない。
証拠が欠落している場合、モデルは確実に棄却されるが、明示的な棄却の下では、誤解を招く質問の41.6%は依然として答えている。
論文 参考訳（メタデータ） (2026-08-23T05:43:27Z) - Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency [0.025718125188898048]
我々は,現時点のタスクを個別に保持するプロセスベンチトレースに対して,擬似アラームを計測する。
完了した監査 -> モデルのコンテキストにすでにある修復エピソードは、15のモデルxワードの組み合わせのうち15の偽のアラームを低くする。
論文 参考訳（メタデータ） (2026-08-17T01:41:43Z) - ReflectFact: Self-Reflective Agents for Improving Comprehension and Reasoning in Multi-Hop Fact Verification [10.886692231174358]
マルチホップ事実検証は、ソーシャルメディア上の誤情報と戦うために重要である。
最近の手法は、事実検証を専門のサブタスクに分解するために、マルチエージェントのコラボレーションに依存している。
マルチホップ事実検証のための新しい自己表現型エージェントフレームワークであるReflectFactを提案する。
論文 参考訳（メタデータ） (2026-08-13T06:41:56Z) - Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations [60.27156500679296]
系統的な推論連鎖の摂動とデリバリートーンの操作による道徳シナリオにおけるCoT(Chain-of-Thought)の説明の役割について検討した。
1) 利用者は, 根拠に欠陥がある場合でも, 信頼感を保ち, 結果合意を信頼する傾向がみられた。
これらの結果は、CoTの説明が同時に明確化と誤解を招き、視覚的信頼よりも精査と批判的思考を奨励する説明を提供するNLPシステムの必要性を強調している。
論文 参考訳（メタデータ） (2025-11-15T02:38:49Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - QACHECK: A Demonstration System for Question-Guided Multi-Hop
Fact-Checking [68.06355980166053]
本稿では,質問誘導型マルチホップFact-Checking(QACHECK)システムを提案する。
クレームの検証に批判的な一連の質問をすることで、モデルの推論プロセスを導く。
各質問を支持する証拠の源となり、透明で説明可能な、ユーザフレンドリーな事実チェックプロセスが育まれます。
論文 参考訳（メタデータ） (2023-10-11T15:51:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。