論文の概要: Knowing but Not Saying: Preventing Factual Access Failures in LLM SFT via Recall-Anchored Distillation

• arxiv url: http://arxiv.org/abs/2608.20794v1
• Date: Fri, 21 Aug 2026 07:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.430657
• Title: Knowing but Not Saying: Preventing Factual Access Failures in LLM SFT via Recall-Anchored Distillation
• Title（参考訳）: LLM SFTにおけるリコール・アンコール蒸留によるファクチュアルアクセス障害の予防
• Abstract要約: 監視された微調整は、ターゲットドメインの外での実際の振る舞いを低下させる可能性がある。 SFTにより引き起こされる事実劣化は、真偽の回答世代と表現レベルの失敗の両方を反映していることを示す。 アウト・オブ・ディストリビューション・ジェネレーションの挙動を保ったベースアンコール型自己蒸留法であるRecall-Anchored Distillation(RAD)を導入する。
• 参考スコア（独自算出の注目度）: 13.67627949746882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning (SFT) can degrade factual behavior outside the target domain. This degradation is often described as catastrophic forgetting, yet open-ended factual failures do not necessarily imply that the underlying facts have been erased. In this work, we identify a more specific phenomenon, factual access failure: after domain SFT, models can still recognize or rank the correct answer under constrained evaluation, while failing to produce it in closed-book generation. Through benchmark-level comparisons, same-fact multiple-choice and generation probes, and failure-mode analysis, we show that SFT-induced factual degradation reflects both genuine wrong-answer generations and expression-level failures such as verbosity, formatting mismatch, and exact-match artifacts. To address this problem, we introduce Recall-Anchored Distillation (RAD), a base-anchored self-distillation objective that preserves out-of-distribution generation behavior by aligning the adapted model with the original base model's soft continuation distribution on unlabeled OOD text. RAD requires no gold OOD answers, external judges, or labeled factual data. Across three backbones fine-tuned on MedMCQA, RAD recovers a consistent portion of the lost OOD recall while preserving target-domain adaptation. Compared with replay on the same OOD text, RAD shows that the key preservation signal is the base model's soft distribution rather than additional text exposure alone.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、ターゲットドメインの外での実際の動作を低下させる。 この劣化は、しばしば破滅的な忘れ物として説明されるが、オープンエンドの事実的失敗は、基礎となる事実が消去されたことを必ずしも意味していない。 ドメインSFTの後、モデルでは、クローズドブック生成時に生成せず、制約された評価の下で正しい回答を認識またはランク付けすることができる。 ベンチマークレベルの比較,同要素の多重選択と生成プローブ,および失敗モード解析により,SFTが引き起こした事実劣化は,真偽の回答生成と,冗長性やフォーマットミスマッチ,正確なマッチングアーティファクトといった表現レベルの失敗の両方を反映していることが示された。 この問題を解決するために,未ラベルのOODテキスト上で適応モデルと元のベースモデルのソフトコンティニュエーション分布を整合させることにより,アウト・オブ・ディストリビューション・ジェネレーションの挙動を保存する,ベースアンコール自己蒸留の目的であるRecall-Anchored Distillation (RAD)を導入する。 RADは、金のOOD回答、外部の審査員、または事実データをラベル付けする必要はない。 MedMCQAで微調整された3つのバックボーンにわたって、RADはターゲットドメイン適応を保ちながら、失われたOODリコールの一貫性のある部分を回復する。 同じOODテキストのリプレイと比較すると、RADは、鍵保存信号が追加のテキスト露光のみではなく、ベースモデルのソフトな分布であることを示している。

関連論文リスト

• Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
  多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。 隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。 以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-31T16:43:55Z)
• Walking on the DARKSIDE [2.0052993723676895]
  本稿では,POLANYI++上でのコヒーレンス監査手法であるDARKSIDEを紹介する。 コースは、談話時間を超えて蓄積された排他物の明示的なデータ構造として定式化される。 我々は、ソフトウェアエンジニアリング、金融、医療、物理学、法律にまたがる高度なナンセンスのコーパスであるBSBench上のGemini 3上でのステアリング層として、Sonnet 4.6を独立裁判官として評価した。
  論文  参考訳（メタデータ） (2026-08-24T15:17:58Z)
• PURA: Provably Unbiased and Robust Multi-Bit Watermarking for AI-Generated Text Attribution [83.66032773976904]
  PURAは、テキスト属性に対する不偏で頑健なマルチビット透かし方式である。 PURAはトークンの確率を直接摂動するのではなく、鍵付き逆変換サンプリングによって潜在サンプリング空間にペイロードを埋め込む。 PURAは、高負荷体制において、既存の非バイアスベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2026-08-23T04:44:27Z)
• When Does Consensus Mean Correctness? Measuring the Agreement-Accuracy Coupling with Semantics-Preserving Re-Rendering [0.8594140167290097]
  ラベルのない信頼性信号として、摂動入力間のモデルの合意が使用される。 レンダリングは正確さと信頼性の両方で再サンプリングする。 モデル自身のクロスレンダーコンセンサスインバータを微調整する。
  論文  参考訳（メタデータ） (2026-08-06T07:08:05Z)
• Label-free Industrial Fault Detection via Adversarial Inverse Reinforcement Learning: A System for Run-to-Failure Prognostics [6.350348168407884]
  機械故障検出は教師あり学習に大きく依存している。 現在の RL' の MFD 法は、この問題を静的文脈帯域 (CB) の定式化に還元する。 本稿では,MFDをオフラインIRL問題として扱う逆逆強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-25T02:02:22Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
  我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。 その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。 12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
  論文  参考訳（メタデータ） (2026-06-30T10:54:16Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Is Your Agent Playing Dead? Deployed LLM Agents Exhibit Constraint-Evasive Fabrication and Thanatosis [8.019946418415302]
  本稿では, 従来報告されていない動作のスペクトルを, 制約・侵襲的製作(CEF)と呼ぶ。 CEFは、エージェントが不可避な制約の下で動作し、プラウチブルな外部障害物を自発的に作成し、それを事実として提示する場合である。 このスペクトルの極端にConstraint-Evasive Thanatosis (CET) があり、これは可算的な言い訳を発明するのではなく、モデルが完全なシステムクラッシュをシミュレートして、ユーザが完全に切り離すという制限ケースである。
  論文  参考訳（メタデータ） (2026-06-12T14:53:42Z)
• Proactive for Uncertainty: Cause-Aware Error Diagnosis and Interactive Clarification for Spoken Dialogue Systems [40.265250435329456]
  本稿では,SDSにおけるロバスト性を根本的に再考する原因認識型エラー回復パラダイムを提案する。 従来の信頼度フィルタリングとは異なり、我々は小さな精度に焦点を絞った検出器群を導入している。 この微細な診断知能は、LLMがターゲットとするマルチターンの明確化戦略を編成する権限を与える。
  論文  参考訳（メタデータ） (2026-05-25T03:57:38Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection [0.0]
  本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
  論文  参考訳（メタデータ） (2020-12-09T21:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。