論文の概要: TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models

• arxiv url: http://arxiv.org/abs/2603.24518v1
• Date: Wed, 25 Mar 2026 16:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.396283
• Title: TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models
• Title（参考訳）: TuneShift-KD:微調整モデルにおける知識蒸留と伝達
• Authors: Yushi Guan, Jeanine Ohene-Agyei, Daniel Kwan, Jean Sebastien Dandurand, Yifei Zhang, Nandita Vijaykumar,
• Abstract要約: TuneShift-KDは、微調整されたモデルからターゲットモデルへの専門知識を自動的に蒸留する新しいアプローチである。 私たちのキーとなる洞察は、ベースモデルと微調整モデルの違いによって、専門知識を識別できるということです。 TuneShift-KDは、トレーニングディミネータやトレーニングデータセットへのアクセスを必要としない。
• 参考スコア（独自算出の注目度）: 7.4050962505506694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To embed domain-specific or specialized knowledge into pre-trained foundation models, fine-tuning using techniques such as parameter efficient fine-tuning (e.g. LoRA) is a common practice. However, as new LLM architectures and pre-trained models emerge, transferring this specialized knowledge to newer models becomes an important task. In many scenarios, the original specialized data may be unavailable due to privacy or commercial restrictions, necessitating distillation and transfer of this specialized knowledge from the fine-tuned base model to a different pre-trained model. We present TuneShift-KD, a novel approach that automatically distills specialized knowledge from a fine-tuned model to a target model using only a few examples representative of the specialized information. Our key insight is that specialized knowledge can be identified through perplexity differences between base and fine-tuned models: prompts where the fine-tuned model responds confidently (low perplexity), but the base model struggles (high perplexity), indicate queries corresponding to the specialized knowledge learned by the fine-tuned model. TuneShift-KD leverages this insight to create a synthetic training dataset to transfer the specialized knowledge. Using an iterative process, TuneShift-KD generates more prompts similar to those that generated responses with specialized knowledge. TuneShift-KD does not require training discriminators or access to training datasets. It is an automated approach that only requires the initial fine-tuned and base models and a few representative prompts. Our experiments demonstrate that models fine-tuned using TuneShift-KD achieve higher accuracy than prior approaches, enabling ease of deployment and more effective transfer of the specialized knowledge.
• Abstract（参考訳）: ドメイン固有あるいは専門的な知識を事前訓練された基礎モデルに組み込むには、パラメータ効率のよい微調整(例えばLoRA)のような技術を用いた微調整が一般的である。 しかし、新しいLLMアーキテクチャや事前訓練されたモデルが出現するにつれて、この専門知識を新しいモデルに移行することが重要な課題となっている。 多くのシナリオでは、オリジナルの専門的なデータは、プライバシーや商業上の制約のために利用できなくなり、蒸留を必要とし、この専門的な知識を細調整されたベースモデルから異なる事前訓練されたモデルに転送する。 TuneShift-KDは、微調整されたモデルからターゲットモデルへの特殊知識を自動的に抽出する新しい手法である。 我々の重要な洞察は、基礎モデルと微調整モデルの間の難易度差によって、専門知識を識別できることである: 細調整モデルが自信を持って応答する(低難易度)ことを示唆するが、基本モデルが苦労する(高難易度)ことは、細調整モデルによって学習された専門知識に対応するクエリを示す。 TuneShift-KDはこの洞察を利用して、専門知識を伝達するための合成トレーニングデータセットを作成する。 反復的プロセスを用いて、TuneShift-KDは、専門知識を持つ応答を生成するものと同様のプロンプトを生成する。 TuneShift-KDは、トレーニングディミネータやトレーニングデータセットへのアクセスを必要としない。 これは、初期の微調整とベースモデルといくつかの代表的プロンプトのみを必要とする自動アプローチである。 実験の結果,TuneShift-KDを用いて微調整したモデルでは,従来の手法よりも精度が高く,展開が容易で,専門知識の伝達がより効果的であることがわかった。

関連論文リスト

• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• NovaCOMET: Open Commonsense Foundation Models with Symbolic Knowledge Distillation [82.85412355714898]
  オープン・コモンセンス・ナレッジ・モデルであるNovaCOMETを,知識の最良の側面と一般的なタスク・モデルを組み合わせたオープン・コモンセンス・ナレッジ・モデルとして紹介する。 従来の知識モデルと比較して、NovaCOMETは推論タスクへの直接適用を可能にするオープンフォーマット関係を可能にする。 知識を明示的に重視し、コモンセンス推論の優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-10T19:45:24Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models [89.44031286278347]
  本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-06-08T08:00:12Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。