論文の概要: Rethinking Faithfulness in LLMs: A Pairwise Context-Sensitive Perspective

• arxiv url: http://arxiv.org/abs/2610.07894v1
• Date: Tue, 06 Oct 2026 07:42:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.8711
• Title: Rethinking Faithfulness in LLMs: A Pairwise Context-Sensitive Perspective
• Title（参考訳）: LLMにおける信仰を再考する: 文脈感覚的視点
• Abstract要約: 大規模言語モデル(LLM)は、与えられた文脈に基づいて質問に忠実に答えることが期待されている。 Pairwise Faithfulness Benchmark (PFaithBench) を提案する。
• 参考スコア（独自算出の注目度）: 28.76132275800886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are expected to answer questions faithfully based on the provided context, abstaining when the context information is insufficient to answer the questions. Existing faithfulness evaluations typically assess each question-context instance in isolation; however, such instance-level evaluation fails to capture a fundamental requirement of faithful behavior: the ability to adapt model responses to changes in available contexts. In particular, a model should provide correct answers when sufficient evidence is present and abstain when it is not. In this work, we propose a Pairwise Faithfulness Benchmark (PFaithBench) that evaluates whether a model can switch between answering and abstaining for the same question under supporting versus non-supporting contexts. Our evaluations across thirty-nine models with seven model families demonstrate that faithfulness fundamentally involves a trade-off between answering and abstaining, and that most current models exhibit a strong bias toward answering, with most faithfulness errors arising from over-answering, i.e., models tend to fabricate a response even when the provided context is insufficient. We further conduct a series of studies on faithfulness training under different data constructions. Our results show that training outcomes are highly sensitive to the specific composition of answering and abstaining data. Constructing answering and abstaining data from mismatched sources can cause models to rely on dataset-specific shortcuts rather than actual context sufficiency. Moreover, increasing answer-supervised data improves answering performance but exacerbates over-answering, while increasing abstaining data reduces hallucination but leads to over-abstention. The code and data are released at https://github.com/tmlr-group/PFaithBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、与えられた文脈に基づいて質問に忠実に答えることが期待されている。 既存の忠実度評価は、通常、各質問コンテキストのインスタンスを独立して評価するが、そのようなインスタンスレベルの評価は、忠実な振る舞いの基本的な要件を捉えない。 特に、モデルが十分な証拠があれば正しい答えを提供し、そうでない場合は無視するべきである。 本研究では,Pairwise Faithfulness Benchmark (PFaithBench) を提案する。 7つのモデルファミリを持つ30のモデルを対象とした評価では、忠実度は基本的に回答と棄権の間のトレードオフを伴い、現在のモデルのほとんどは回答に対する強いバイアスを示しており、過度な回答から生じる最も忠実度エラーは、提供された文脈が不十分な場合でも、応答を作成できる傾向にある。 さらに、異なるデータ構造下での忠実度トレーニングに関する一連の研究を行っている。 以上の結果から, 学習結果は, 回答の具体的構成に非常に敏感であることが示唆された。 ミスマッチしたソースからの回答とデータの中断は、実際のコンテキスト満足度ではなく、データセット固有のショートカットに依存する可能性がある。 さらに、回答監督データの増加は回答性能を向上するが、過剰回答を悪化させる一方で、禁忌データの増加は幻覚を減少させるが、過剰理解につながる。 コードとデータはhttps://github.com/tmlr-group/PFaithBench.orgで公開されている。

関連論文リスト

• PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
  不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。 本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。 提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
  論文  参考訳（メタデータ） (2026-04-06T09:54:16Z)
• SPELL: Self-Play Reinforcement Learning for evolving Long-Context Language Models [79.01078135582127]
  SPELLは、長文推論のためのスケーラブルでラベルなしの最適化を可能にする。 本稿では、文書長を徐々に向上させる自動カリキュラムと、モデルの進化する機能に質問の難しさを適応させる報奨関数を導入する。
  論文  参考訳（メタデータ） (2025-09-28T13:08:10Z)
• FactReasoner: A Probabilistic Approach to Long-Form Factuality Assessment for Large Language Models [59.171510592986735]
  本稿では,確率論的推論に依拠した新たな事実性評価器FactReasonerを提案する。 ラベル付きおよびラベルなしのベンチマークデータセットの実験は、FactReasonerが最先端のプロンプトベースのアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2025-02-25T19:01:48Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• Synthesizing Adversarial Negative Responses for Robust Response Ranking and Evaluation [34.52276336319678]
  オープンドメインニューラルダイアログモデルは、応答のランク付けと評価タスクにおいて高い性能を達成している。 コンテンツ類似性への過度な依存は、モデルが不整合の存在に敏感でないようにする。 本稿では,逆負の学習データを自動生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:20:55Z)
• FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization [34.2456005415483]
  我々は,その資料から生成した要約の忠実さを評価する問題に取り組む。 現在のモデルでは、抽象性と忠実性のトレードオフが示されています。 本稿では,信頼度を基準とした質問応答(QA)尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。