論文の概要: When to Trust Context: Self-Reflective Debates for Context Reliability

• arxiv url: http://arxiv.org/abs/2506.06020v1
• Date: Fri, 06 Jun 2025 12:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.464225
• Title: When to Trust Context: Self-Reflective Debates for Context Reliability
• Title（参考訳）: コンテキストを信頼する時 - コンテキストの信頼性に関する自己表現的議論
• Authors: Zeqi Zhou, Fang Wu, Shayan Talaei, Haokai Zhao, Cheng Meixin, Tinson Xu, Amin Saberi, Yejin Choi,
• Abstract要約: SR-DCR(Self-Reflective Debate for Contextual Reliability)は、トークンレベルの自信と非対称なマルチエージェントの議論を統合する軽量フレームワークである。 ClashEvalベンチマークの実験では、SR-DCRは信頼に値する入力の精度を維持しながら、一貫してロバスト性を高めることが示されている。
• 参考スコア（独自算出の注目度）: 32.806602222335485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models frequently encounter conflicts between their parametric knowledge and contextual input, often resulting in factual inconsistencies or hallucinations. We propose Self-Reflective Debate for Contextual Reliability (SR-DCR), a lightweight framework that integrates token-level self-confidence with an asymmetric multi-agent debate to adjudicate such conflicts. A critic, deprived of context, challenges a defender who argues from the given passage; a judge model evaluates the debate and determines the context's reliability. The final answer is selected by combining the verdict with model confidence. Experiments on the ClashEval benchmark demonstrate that SR-DCR consistently enhances robustness to misleading context while maintaining accuracy on trustworthy inputs, outperforming both classical debate and confidence-only baselines with minimal computational overhead. The code is available at https://github.com/smiles724/Self-Reflective-Debates.
• Abstract（参考訳）: 大規模言語モデルは、しばしばパラメトリック知識と文脈入力の衝突に遭遇し、現実的な矛盾や幻覚をもたらす。 本稿では,トークンレベルの自己信頼と非対称なマルチエージェントの議論を統合し,矛盾を補う軽量フレームワークSR-DCRを提案する。 文脈を逸脱した批評家は、与えられた節から主張する被告に挑戦し、裁判官モデルは議論を評価し、文脈の信頼性を決定する。 最終回答は、評定とモデルの信頼性を組み合わせることで選択される。 ClashEvalベンチマークの実験では、SR-DCRは信頼に値する入力の精度を維持しつつ、計算オーバーヘッドを最小限に抑えながら、コンテキストを誤解させるような堅牢性を一貫して向上することを示した。 コードはhttps://github.com/smiles724/Self-Reflective-Debatesで公開されている。

関連論文リスト

• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• Training Language Models to Win Debates with Self-Play Improves Judge Accuracy [8.13173791334223]
  本稿では,学習モデルによるスケーラブルな監視手法としての議論の堅牢性を試行し,自己再生によって生成されたデータと議論する。 言語モデルに基づく評価器は、モデルの判断が議論に勝つように最適化されたときに、より正確に質問に答える。
  論文  参考訳（メタデータ） (2024-09-25T05:28:33Z)
• Decompose and Compare Consistency: Measuring VLMs' Answer Reliability via Task-Decomposition Consistency Comparison [22.438863942925973]
  信頼性測定のための分解・比較一貫性(DeCC)を提案する。 VLMの内部推論プロセスを用いて生成した直接解の一貫性を比較することにより、DeCCはVLMの直接解の信頼性を測定する。
  論文  参考訳（メタデータ） (2024-07-10T17:00:29Z)
• DebUnc: Improving Large Language Model Agent Communication With Uncertainty Metrics [52.242449026151846]
  大規模言語モデル(LLM)の精度向上のためのマルチエージェント論争が紹介されている。 エージェントの信頼性を評価するために不確実性指標を用いた議論フレームワークであるDebUncを提案する。
  論文  参考訳（メタデータ） (2024-07-08T22:15:01Z)
• Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM [51.43102092480804]
  Debatrixは、Large Language Models (LLMs)に基づく自動ディスカッションジャッジである。 実世界の議論シナリオに合わせるため、私たちはPanelBenchベンチマークを導入し、システムの性能と実際の議論結果を比較した。 以上の結果から,LSMを直接使用して議論評価を行ない,顕著な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-12T18:19:47Z)
• Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense Reasoning [85.1541170468617]
  本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。 提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
  論文  参考訳（メタデータ） (2022-08-23T14:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。