論文の概要: Imprinting: Knowledge Distillation Can Shift Student Behavior

• arxiv url: http://arxiv.org/abs/2610.18517v1
• Date: Tue, 13 Oct 2026 15:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:54:20.134389
• Title: Imprinting: Knowledge Distillation Can Shift Student Behavior
• Title（参考訳）: インプリンティング:知識蒸留は学生の行動を変える
• Abstract要約: 本研究は, 教員の学生行動が, 蒸留が移転を意図した能力を超えた形にできるかどうかを考察する。 学生は一般的にタスク能力を得るが、下流の意思決定は元教師の安全実践主義的な配置へと移行する。 行動傾向は,通常のタスク・インスペクティヴ・インスペクティヴ・インプットでも,ソース・教師を通じて意図的にインプットできることがわかった。
• 参考スコア（独自算出の注目度）: 6.652478356637342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation trains student models on teacher-generated responses to transfer task capability, but those responses may also carry behavioral tendencies of their source. We investigate whether the source teacher can shape student behavior beyond the capability that distillation is intended to transfer. We construct harm-accepting and harm-avoiding variants of the same base teacher, use them to generate responses to ordinary reasoning and knowledge questions unrelated to safety, and distill those responses into students with different base models. Students generally acquire task capability while their downstream decisions shift toward the source teacher's safety-pragmatism disposition, a phenomenon we call imprinting. Distillation from the harm-accepting teacher reduces harm avoidance, whereas distillation from the harm-avoiding teacher increases it. Imprinting varies across teacher-student pairs and does not extend uniformly across different forms of safety behavior. Excluding a sparse set of divergence tokens reduces imprinting, whereas response rewriting preserves the source-dependent effect and can introduce additional rewriter-dependent shifts. Post-distillation preference optimization raises harm avoidance but does not eliminate the source-dependent difference. These results show that behavioral tendencies can be intentionally imprinted through the source teacher, even with ordinary task supervision.
• Abstract（参考訳）: 知識蒸留は、教師が生成したタスク能力に対する反応をモデルに訓練するが、これらの反応は情報源の行動傾向も引き起こす可能性がある。 本研究は, 教員の学生行動が, 蒸留が移転を意図した能力を超えた形にできるかどうかを考察する。 我々は,同じ教師の無害・無害の変種を構築し,それを用いて,安全とは無関係な通常の推論や知識質問に対する応答を生成し,それらの応答を,異なるベースモデルを持つ生徒に蒸留する。 学生は一般的にタスク能力を取得し、下流の意思決定は、インプリントと呼ばれるインプリント現象である、原教師の安全プラグマティズムの配置へと移行する。 害受容教師からの蒸留は害回避を減少させる一方、害受容教師からの蒸留は害回避教師からの蒸留を増大させる。 インプリンティングは教師と学生のペアによって異なり、安全行動の異なる形態にわたって均一に拡張されない。 分散トークンのスパースセットを除くとインプリンティングが減少する一方、レスポンス書き換えはソース依存効果を保持し、追加のリライター依存シフトを導入することができる。 蒸留後選好最適化は害回避を引き起こすが、ソース依存の違いを排除しない。 これらの結果から,通常の課題管理においても,行動傾向を指導者を通して意図的にインプリントできることが示唆された。

関連論文リスト

• Distillation for Incrimination and Distillation for Capabilities [0.0]
  禁酒の蒸留は、不正行為を伝達することを目的としているが、それを隠蔽する能力はない。 機能拡張は、機能移転を目標としているが、誤調整ではない。
  論文  参考訳（メタデータ） (2026-10-07T23:51:11Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation [29.20851258960948]
  自己蒸留は、特権情報にモデルを適用することによって、密集したトークンレベルの監督を提供する。 本研究では, モデルが特権教師に移行した魅力的な自己蒸留と, 反感的な自己蒸留とを対比して, 推論作業におけるこの効果について検討する。 両方の目的が強固で反対の行動シフトを引き起こすことが分かっています。
  論文  参考訳（メタデータ） (2026-09-18T09:51:36Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation [17.01350720731129]
  影響指向型適応型オンポリシィ蒸留(IDA-OPD)を提案する。 IDA-OPDはエントロピー適応型更新を保存し、エントロピー圧縮型更新をばらつき拡大による利点縮小に置き換える。 推論指向蒸留の実験では、IDA-OPDはパス@k$を一貫して改善し、蒸留を通じて教師の多様性を継承する。
  論文  参考訳（メタデータ） (2026-08-30T15:22:46Z)
• Embedding Compression for Teacher-to-Student Knowledge Transfer [58.01044612920816]
  本稿では,学習可能な教師変換を備えた埋め込み圧縮モジュールを用いて,コンパクトな教師埋め込みを実現することを提案する。 その結果,埋め込み圧縮モジュールの追加により分類性能が向上した。 埋め込み指導で訓練された学生モデルは、より強い一般化可能性を示す。
  論文  参考訳（メタデータ） (2024-02-09T19:47:31Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。