論文の概要: Distillation for Incrimination and Distillation for Capabilities

• arxiv url: http://arxiv.org/abs/2610.11012v1
• Date: Wed, 07 Oct 2026 23:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.708321
• Title: Distillation for Incrimination and Distillation for Capabilities
• Title（参考訳）: 防犯・防犯用蒸留
• Abstract要約: 禁酒の蒸留は、不正行為を伝達することを目的としているが、それを隠蔽する能力はない。 機能拡張は、機能移転を目標としているが、誤調整ではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Powerful misaligned AI models might recognize alignment evaluations and strategically behave well on them, rendering direct audits uninformative. However, distilling such a model into a weaker benign student places the teacher in a Distillation Double Bind: if misalignment transfers, the student may conceal it less effectively, revealing evidence about the teacher; if it does not, the student may learn useful capabilities while remaining benign. We introduce two distinct distillation approaches, one targeting each outcome. Distillation for Incrimination (DFI) aims to transfer misalignment but not the ability to conceal it. Distilling AuditBench's secret-keeping models into their underlying instruction-tuned model produces students that are significantly more likely than their teachers to admit their hidden behavior when asked, suggesting that knowledge of the behavior transferred more readily than the propensity to conceal it. Confession gains largely disappear when the student does not share the teacher's pretrained base, so DFI should target the teacher's own pre-RL checkpoint, which is weaker than the teacher but shares its base model. Distillation for Capabilities (DFC) aims to transfer capabilities but not misalignment. Among several techniques we evaluate, two are effective: inoculation prompting and training for more epochs on fewer unique examples. Both preserve the capability gains of standard distillation while substantially reducing the subliminal transfer of an animal preference, our proxy for misalignment. Together, these findings demonstrate two ways distillation can be used for AI safety: incriminating misaligned models, and extracting their capabilities without their misalignment.
• Abstract（参考訳）: 強力なミスアライメントAIモデルは、アライメント評価を認識して、戦略的に正常に動作し、直接的な監査は非形式的になる。 しかし、そのようなモデルを弱い良心の学生に蒸留することで、教師を蒸留二重結合(Distillation Double Bind)に配置する:もし不適応が転移した場合、生徒はそれを効果的に隠蔽し、教師に関する証拠を明らかにし、もしそうでなければ、学生は良心を維持しながら有用な能力を学ぶことができる。 2つの異なる蒸留手法を導入し、1つはそれぞれの結果をターゲットにしたものである。 DFI (Distillation for Incrimination) は、誤認を隠蔽する機能ではなく、誤認を伝達することを目的としている。 AuditBenchの秘密保持モデルを基礎となる指導訓練モデルに拡張することで、教師が質問された時に隠された行動を認める確率が、教師よりもはるかに高くなり、その行動に関する知識が、それを隠蔽する確率よりも容易に伝達されることが示唆された。 学生が教師の事前訓練されたベースを共有していない場合、対立は大幅に減少するので、DFIは教師よりも弱いが、そのベースモデルを共有する教師自身のプレRLチェックポイントをターゲットにすべきである。 Distillation for Capabilities (DFC) は機能移転を目標としているが、誤調整ではない。 私たちが評価したいくつかのテクニックのうち、2つは効果的である。 両者とも, 標準蒸留の能力向上を保ちつつ, 動物選好のサブリミナル移行を著しく低減する。 これらの知見とともに、蒸留はAIの安全性に使える2つの方法を示している。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• DOPD: Dual On-policy Distillation [59.65986569617147]
  オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。 特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。 大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-29T17:55:53Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Protecting Language Models Against Unauthorized Distillation through Trace Rewriting [31.05181251141126]
  知識蒸留の権威主義的利用は、フロンティアモデルの開発に費やされたかなりの努力とコストを不公平に活用する。 回答の正しさと意味的一貫性を保ちながら,教師の推論出力を動的に書き換える手法をいくつか導入する。 本実験は, 教師のパフォーマンスを維持・改善しつつ, 簡易な指導ベースリライト手法により, 強い消毒効果が得られることを示した。
  論文  参考訳（メタデータ） (2026-02-16T19:40:07Z)
• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
  頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる 異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。 ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-23T19:55:13Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。