論文の概要: MixSD: Mixed Contextual Self-Distillation for Knowledge Injection

• arxiv url: http://arxiv.org/abs/2605.16865v2
• Date: Thu, 21 May 2026 07:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.422779
• Title: MixSD: Mixed Contextual Self-Distillation for Knowledge Injection
• Title（参考訳）: MixSD:知識注入のための混合文脈自己蒸留
• Authors: Jiarui Liu, Lechen Zhang, Yongjin Yang, Yinghui He, Yingheng Wang, Weihao Xuan, Zhijing Jin, Mona Diab,
• Abstract要約: Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。 このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。 分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
• 参考スコア（独自算出の注目度）: 29.7616760417696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) is widely used to inject new knowledge into language models, but it often degrades pretrained capabilities such as reasoning and general-domain performance. We argue this forgetting arises because fine-tuning targets from humans or external systems diverge from the model's autoregressive distribution, forcing the optimizer to imitate low-probability token sequences. To address this problem, we propose MixSD, a simple external-teacher-free method for distribution-aligned knowledge injection. Instead of training on fixed targets, MixSD constructs supervision dynamically by mixing tokens from two conditionals of the base model itself: an expert conditional that observes the injected fact in context, and a naive conditional that reflects the model's original prior. The resulting supervision sequences preserve the factual learning signal while remaining substantially closer to the base model's distribution. We evaluate MixSD on two synthetic corpora that we construct to study factual recall and arithmetic function acquisition in a controlled setting, together with established benchmarks for open-domain factual question answering and knowledge editing. Across multiple model scales and settings, MixSD consistently achieves a better memorization-retention trade-off compared to SFT and on-policy self distillation baselines, retaining up to 100% of the base model's held-out capability while maintaining near-perfect training accuracy, whereas standard SFT retains as little as 1%. We further show that MixSD produces substantially lower-NLL supervision targets under the base model and reduces harmful movement along Fisher-sensitive parameter directions. These results suggest that aligning supervision with the model's native generation distribution is a simple and effective principle for knowledge injection that mitigates catastrophic forgetting.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われているが、推論や一般ドメインのパフォーマンスなどの事前訓練能力は劣化することが多い。 このことは、人間や外部システムからの微調整対象が自己回帰分布から逸脱し、オプティマイザに低確率トークンシーケンスを模倣させてしまうためである、と我々は主張する。 この問題に対処するために、分布整合型知識注入のためのシンプルな外部教師なし手法であるMixSDを提案する。 固定されたターゲットをトレーニングする代わりに、MixSDは、ベースモデル自体の2つの条件からトークンを混合することによって、動的に監視を構築する。 結果として得られた監視シーケンスは、ベースモデルの分布にかなり近づきながら、実際の学習信号を保存する。 そこで我々は,MixSDを2つの合成コーパス上で評価し,実ミスリコールと算術関数の獲得を制御環境で研究すると共に,オープンドメインの事実質問応答と知識編集のための確立されたベンチマークを作成した。 複数のモデルスケールと設定にわたって、MixSDはSFTやオンラインの自己蒸留ベースラインと比較して、記憶と保持のトレードオフを一貫して達成し、ベースモデルの保持能力の最大100%を維持しながら、ほぼ完璧なトレーニング精度を維持しているのに対して、標準のSFTは1%しか保持していない。 さらに、MixSDはベースモデルの下でかなり低NLL監視目標を生成し、フィッシャー感受性パラメータの方向に沿って有害な動きを減少させることを示す。 これらの結果から,モデル固有の世代分布の調整は,破滅的忘れを緩和する知識注入の簡便かつ効果的な原理であることが示唆された。

関連論文リスト

• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation [21.687249397347017]
  本研究では,事前学習した予測器を明らかなモデルに変換する軽量なポストホックモジュールであるエビデンシャルトランスフォーメーションネットワーク(ETN)を提案する。 ETNは、精度を保ち、計算オーバーヘッドを最小限に抑えながら、ポストホックベースラインに対する不確実性評価を一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-09T16:09:47Z)
• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,複数の不完全なモデルから得られた知識を,難易度の高い新しいシナリオにおいて堅牢に統合するための効果的なメカニズムとして,一貫性に基づく誘拐の有効性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• Towards Communication-Efficient Adversarial Federated Learning for Robust Edge Intelligence [43.4791103826602]
  本稿では,事前学習モデルを用いて,コミュニケーション効率の高い対人学習(AFL)を実現することを目的とする。 クリーン画像と逆画像の両方に事前学習したモデルからの知識を活用することにより、事前学習されたモデル誘導型AFLフレームワークを提案する。 実験の結果,PM-AFLベースのフレームワークは他の手法よりも優れているだけでなく,通信効率も向上していることがわかった。
  論文  参考訳（メタデータ） (2025-01-25T16:04:29Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。