論文の概要: Understanding the Role of Prompt Template in Knowledge Distillation for Safety Alignment

• arxiv url: http://arxiv.org/abs/2609.30802v1
• Date: Fri, 25 Sep 2026 04:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.229228
• Title: Understanding the Role of Prompt Template in Knowledge Distillation for Safety Alignment
• Title（参考訳）: 安全アライメントのための知識蒸留におけるプロンプトテンプレートの役割の理解
• Abstract要約: テンプレート構成の違いが学生の既存の安全アライメントにどのように影響するかを分析する。 チャットテンプレートを利用することで、非チャットテンプレートに比べて有害なクエリにモデルが適合していることが分かりました。
• 参考スコア（独自算出の注目度）: 4.721512759433973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior research has demonstrated that the choice of prompt template during Supervised Fine-Tuning (SFT) significantly impacts the robustness of safety alignment afterwards. However, the influence of template selection during Knowledge Distillation (KD) from teacher to student remains largely unexplored. Thus, we fill this gap by analyzing how different template configurations influence the pre-existing safety alignment of the student. We observe a significant degradation of safety alignment present in the aligned base instruct-tuned model. Specifically, we find that utilizing chat templates renders the model more compliant with harmful queries compared to a non-chat template. These findings are consistent across three models: LLaMA, Gemma and Qwen model families and are evaluated across multiple safety benchmarks. We further show that using a non-chat template during distillation better preserves the base student's internal representations, while chat template distillation induces a larger representational shift. Code: https://github.com/anjilab/role-of-prompt-template-in-kd
• Abstract（参考訳）: 以前の研究では、スーパービジョンファインチューニング(SFT)におけるプロンプトテンプレートの選択が、その後の安全アライメントの堅牢性に大きな影響を与えることが示されている。 しかし、教師から生徒への知識蒸留(KD)におけるテンプレート選択の影響は未解明のままである。 そこで本稿では,テンプレート構成の違いが学生の既存の安全アライメントにどのように影響するかを分析することで,このギャップを埋める。 本研究では,アライメントベースインストラクション調整モデルにおける安全アライメントの顕著な劣化を観察する。 具体的には、チャットテンプレートを利用することで、非チャットテンプレートに比べて有害なクエリにモデルを適合させることがわかった。 これらの結果はLLaMA、Gemma、Qwenの3つのモデルで一致しており、複数の安全性ベンチマークで評価されている。 さらに, 蒸留における非チャットテンプレートの使用は, 基礎的学生の内部表現をよりよく保存し, チャットテンプレート蒸留はより大きな表現シフトを誘導することを示した。 コード:https://github.com/anjilab/role-of-prompt-template-in-kd

関連論文リスト

• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Decoupling Template Bias in CLIP: Harnessing Empty Prompts for Enhanced Few-Shot Learning [28.14553408545859]
  Contrastive Language- Image Pre-Training (CLIP) モデルは、視覚的およびテキスト的表現を整列することで、数ショット学習において優れている。 本研究は,テキストテンプレートと画像サンプルの類似性として定義されたテンプレートサンプル類似性(TSS)がバイアスをもたらすことを示す。 このバイアスにより、モデルは真のサンプルとカテゴリのアライメントではなく、テンプレートの近接に依存するようになる。 本稿では,空のプロンプト,テキスト入力を用いた「空さ」の概念をカテゴリ情報なしで伝達するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-09T13:51:05Z)
• SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning [62.18315467642528]
  MCIT (Multimodal Continual Instruction Tuning) は,Multimodal Large Language Models (MLLM) が,悲惨なことを忘れずに,新たなタスクを段階的に学習できるようにすることを目的としている。 表面的な忘れは、モデルの知識が真に失われるのではなく、以前のタスクに対する応答が期待されたフォーマットから逸脱している場合を指す。 対照的に、本質的な忘れは、モデルが正しくフォーマットされているが、事実的に不正確な答えを提供し、真の知識の喪失を示す状況を指す。
  論文  参考訳（メタデータ） (2025-05-05T09:09:41Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates [55.69224221154593]
  一見安全なデータセットの微調整さえも、モデル内の安全でない振る舞いを引き起こす可能性がある。 セーフテスト(PTST)戦略 - 安全プロンプトのない微調整モデルを提案するが、テスト時に含める。
  論文  参考訳（メタデータ） (2024-02-28T18:23:49Z)
• Mind Your Format: Towards Consistent Evaluation of In-Context Learning Improvements [10.687101698324897]
  大規模な言語モデルは、いくつかの例から新しいタスクを解くための驚くべき能力を示している。 プロンプトテンプレート、あるいはインプット例をフォーマットしてプロンプトを取得する方法は、コンテキスト内学習の重要な側面であるが、見過ごされがちである。 テンプレートの貧弱な選択は、最強モデルと推論手法の性能をランダムな推測レベルに低下させることができることを示す。
  論文  参考訳（メタデータ） (2024-01-12T18:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。