論文の概要: Stick to What You Know: A Study of Knowledge-Aligned Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.30987v1
• Date: Mon, 31 Aug 2026 15:43:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.488839
• Title: Stick to What You Know: A Study of Knowledge-Aligned Supervised Fine-Tuning
• Title（参考訳）: 知っていることに固執する:知識に相応しい微調整の研究
• Abstract要約: Supervised Fine-tuning (SFT) は、ターゲットの応答を模倣するベース言語モデルを訓練する。 これらのターゲットは、ベースモデルが堅牢に内部化されていない知識を必要とするかもしれない。 我々はこれを幻覚の源として研究し、緩和法群をEmphknowledge-aligned SFTとして検討した。
• 参考スコア（独自算出の注目度）: 16.293864335583287
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Supervised fine-tuning (SFT) trains a base language model to imitate target responses, and these targets may require knowledge the base model has not robustly internalized. We study this as a source of hallucinations and frame a group of mitigation methods as \emph{knowledge-aligned SFT}: constraining SFT training targets to the base model's parametric knowledge. Under a unified setup, we compare existing generation-based and estimation-based knowledge-alignment methods and introduce two new variants: Evidence Rewrite, which verifies base-model generations using external evidence, and Recall Rewrite, which retains claims only when they can be consistently recalled by the base model. Experiments with Qwen 3 4B and OLMo 3 7B show that knowledge-aligned SFT can reduce factual hallucinations on WildHalu and Biography while largely preserving general capabilities. Recall Rewrite yields the strongest factuality gains and improves refusal behavior on UnknownBench. It thereby confirms that SFT targets beyond the base model's knowledge drive hallucination behavior.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、ターゲットの応答を模倣するためにベース言語モデルを訓練する。 我々はこれを幻覚の源として研究し、緩和法群を 'emph{knowledge-aligned SFT} として、ベースモデルのパラメトリック知識にSFTトレーニングターゲットを拘束する。 統合された設定の下では、既存の世代ベースおよび推定ベースの知識アライメント手法を比較し、外部証拠を用いてベースモデルの世代を検証するエビデンス・リライトと、ベースモデルによって一貫してリコールできる場合にのみクレームを保持するリコール・リライトという2つの新しい変種を導入する。 Qwen 3 4B と OLMo 3 7B による実験では、知識に整合した SFT がWildHalu と Biography の幻覚を減らし、概ね一般的な能力を保っている。 リコールリライトは、UnknownBenchにおける最大の事実性向上と拒絶動作を改善する。 これにより、SFTがベースモデルの知識を超越した目標が幻覚行動を引き起こすことを確認した。

関連論文リスト

• V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
  視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。 本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-26T09:40:46Z)
• From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning [16.56504142773247]
  既存のエンド・ツー・エンドの手法は、知識の引用と推論を結びつけるため、パラメトリックな知識や入力コンテキストから正しい答えが生じるかどうかを判断することは困難である。 VAKEは2段階の強化学習フレームワークで、暗黙のプライミングによって潜在パラメトリック知識を外部化し、取得した推論能力を暗黙の推論に転送する。 プライミングで学んだポリシーに基づいて、推論ステージはモデルに元の入力からの応答を訓練し、明示的な知識の引用によって得られた能力が暗黙の推論に移行するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-08-19T06:20:34Z)
• Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling [21.14539989233461]
  知識--'Less''' Language Models (KLLMs) KLLMは、名前付きエンティティが匿名化されたコーパスで事前訓練される。 我々は,KLLMがパラメトリック知識に頼らず,外部証拠に頼らず,現実的な条件下での信頼性の向上につながることを示した。
  論文  参考訳（メタデータ） (2026-07-14T14:48:53Z)
• DeepRefine: Agent-Compiled Knowledge Refinement via Reinforcement Learning [60.35032268606525]
  エージェントコンパイルされた知識ベースは、下流タスクにおいて、大きな言語モデル(LLM)エージェントに対して永続的な外部知識を提供する。 しかし、その品質は、不完全性、不完全性、浮揚性によって体系的に制限される
  論文  参考訳（メタデータ） (2026-05-11T12:48:31Z)
• Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning [59.19460954480119]
  忘れられた知識が事前学習や教師付き微調整に由来するかどうかを考察する。 実験の結果,事前学習モデルとSFTモデルは未学習に対して異なる反応を示した。
  論文  参考訳（メタデータ） (2026-02-23T08:58:48Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• REFLEX: Self-Refining Explainable Fact-Checking via Disentangling Truth into Style and Substance [14.932352020762991]
  本稿ではReason-Guided Fact-checking with Latent Explanations REFLEX paradigmを提案する。 バックボーンモデルの内部知識を活用して、検証精度と説明品質の両方を改善する、プラグアンドプレイの自己修正パラダイムである。 自己修正されたトレーニングサンプルはわずか465で、RELFEXは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-25T12:06:23Z)
• Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality [27.687276551678583]
  幻覚と事実性の欠如は、大きな言語モデルの信頼性にとって重要な障害である。 本稿では,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:23:06Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Preserving Commonsense Knowledge from Pre-trained Language Models via Causal Inference [20.5696436171006]
  現存する研究の多くは破滅的な忘れ物であり、訓練済みの知識を無差別に保持している。 我々は因果グラフに微調整を行い、破滅的な忘れ物が事前訓練されたデータから欠落した因果関係にあることを発見した。 実験では,6つのコモンセンスQAデータセットに対して,最先端の微調整手法より優れていた。
  論文  参考訳（メタデータ） (2023-06-19T09:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。