論文の概要: Memorization Dynamics in Knowledge Distillation for Language Models

• arxiv url: http://arxiv.org/abs/2601.15394v1
• Date: Wed, 21 Jan 2026 19:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.388301
• Title: Memorization Dynamics in Knowledge Distillation for Language Models
• Title（参考訳）: 言語モデルにおける知識蒸留における記憶ダイナミクス
• Authors: Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano,
• Abstract要約: 3つの大言語モデル(LLM)と3つのデータセットを用いて,KDパイプライン全体の記憶について検討した。 1) 蒸留したモデルは, 通常の微調整(50%以上還元)に比べて, トレーニングデータを大幅に低減し, 2) 蒸留中の暗記を覚えやすい例(95%以上) , (3) 学生の暗記は, zlibエントロピー, KL の発散, 難易度に基づく特徴を用いて, 蒸留前に予測可能である。
• 参考スコア（独自算出の注目度）: 16.76814083270349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) is increasingly adopted to transfer capabilities from large language models to smaller ones, offering significant improvements in efficiency and utility while often surpassing standard fine-tuning. Beyond performance, KD is also explored as a privacy-preserving mechanism to mitigate the risk of training data leakage. While training data memorization has been extensively studied in standard pre-training and fine-tuning settings, its dynamics in a knowledge distillation setup remain poorly understood. In this work, we study memorization across the KD pipeline using three large language model (LLM) families (Pythia, OLMo-2, Qwen-3) and three datasets (FineWeb, Wikitext, Nemotron-CC-v2). We find: (1) distilled models memorize significantly less training data than standard fine-tuning (reducing memorization by more than 50%); (2) some examples are inherently easier to memorize and account for a large fraction of memorization during distillation (over ~95%); (3) student memorization is predictable prior to distillation using features based on zlib entropy, KL divergence, and perplexity; and (4) while soft and hard distillation have similar overall memorization rates, hard distillation poses a greater risk: it inherits $2.7\times$ more teacher-specific examples than soft distillation. Overall, we demonstrate that distillation can provide both improved generalization and reduced memorization risks compared to standard fine-tuning.
• Abstract（参考訳）: 知識蒸留(KD)は、大きな言語モデルから小さな言語モデルへの機能移行に採用され、しばしば標準的な微調整を超越しながら、効率と実用性を大幅に向上する。 パフォーマンス以外にも、KDはデータ漏洩のトレーニングリスクを軽減するためのプライバシ保護メカニズムとしても検討されている。 トレーニングデータの記憶は、標準的な事前学習および微調整設定で広く研究されているが、知識蒸留装置の力学は理解されていない。 本研究では,3つの大言語モデル(Pythia, OLMo-2, Qwen-3)と3つのデータセット(FineWeb, Wikitext, Nemotron-CC-v2)を用いて,KDパイプライン間の記憶について検討する。 その結果,(1) 蒸留モデルでは, 通常の微調整に比べてトレーニングデータの記憶が著しく少ない(50%以上減少), (2) 蒸留中の記憶量が比較的少ない(95%以上), (3) 学生の記憶は, zlibエントロピー, KL の発散, 難易度に基づく特徴に基づく蒸留に先立って予測可能である,(4) 軟式蒸留と硬式蒸留は全体の記憶率に類似するが, 硬式蒸留は2.7 倍の確率で, 軟式蒸留を継承する。 総じて, 蒸留は, 通常の微調整と比較して, 一般化と記憶リスクの低減の両立を図っている。

関連論文リスト

• From Teacher to Student: Tracking Memorization Through Model Distillation [0.9065034043031668]
  大規模言語モデル(LLM)は、トレーニングデータの一部を記憶することで知られており、プライバシとセキュリティに関する重要な懸念を提起している。 本研究では,異なる知識蒸留法(KD)が,大規模な教師モデルをより小さな学生に蒸留した場合の微調整タスクデータの記憶にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-06-19T09:44:25Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Efficient Knowledge Injection in LLMs via Self-Distillation [50.24554628642021]
  本稿では, 急速蒸留を利用して, 自由形式文書から新たな事実知識を内包する手法を提案する。 急速蒸留は標準的な微調整よりも優れており,RAGを超越することさえ可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-19T15:44:01Z)
• Small Scale Data-Free Knowledge Distillation [37.708282211941416]
  小型データフリーな知識蒸留SSD-KDを提案する。 SSD-KDは、適切なサンプルを選択するために、合成サンプルと優先サンプリング関数のバランスをとる。 非常に少量の合成サンプルで蒸留訓練を行うことができる。
  論文  参考訳（メタデータ） (2024-06-12T05:09:41Z)
• Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation [72.70058049274664]
  文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。 我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
  論文  参考訳（メタデータ） (2022-10-25T07:07:54Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Pre-trained Summarization Distillation [121.14806854092672]
  近年の分類・回帰作業におけるBERT蒸留の研究は, 直接的知識蒸留による高い性能を示している。 あるいは、機械翻訳の実践者は擬似ラベルを用いて蒸留し、小さなモデルをより大きなモデルの翻訳に基づいて訓練する。 第三に、より単純なアプローチは'shrink and fine-tune' (SFT) であり、より小さな学生モデルにパラメータをコピーして微調整することで、明示的な蒸留を避ける。
  論文  参考訳（メタデータ） (2020-10-24T23:15:43Z)
• Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings [5.929956715430167]
  大規模言語モデル(LM)を用いた伝達学習は、幅広い自然言語理解タスクにおいて劇的な性能向上をもたらした。 これらの大きなLMのサイズとメモリフットプリントは、多くのシナリオでのデプロイを困難にしている。 最近の研究では、知識蒸留が潜在的な解決策として指摘されており、与えられたタスクのトレーニングデータが豊富であれば、大きな(教師)LMを最小限の性能を失う小さなタスク固有(学生)ネットワークに蒸留することが可能である。
  論文  参考訳（メタデータ） (2020-01-25T08:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。