論文の概要: Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

• arxiv url: http://arxiv.org/abs/2610.13536v1
• Date: Fri, 09 Oct 2026 12:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.585282
• Title: Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning
• Title（参考訳）: 蒸留のダークアートに対する防御--サブリミナル学習の教師なし発見
• Abstract要約: パラメータ更新のみからサブリミナルに転送された特性を、監督なしで復元できることを実証する。 得られた推定器は重量空間の方向を返し、それを増幅して特徴を発見し、解釈したり、それを抑えるために投影したりすることができる。
• 参考スコア（独自算出の注目度）: 6.800325210654667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a language model is distilled from a teacher that shares its base parameters, the student can inherit behavioural traits of the teacher---including misalignment---even from data that is semantically unrelated to the trait (Cloud et al., 2026). All existing defences require knowing the trait. We remove this requirement and prove that a subliminally transferred trait can be recovered from the parameter updates alone, without supervision, by exploiting a single asymmetry: the trait is expressed consistently across diverse datasets generated by the teacher, whereas task-specific and shared capabilities vary. The resulting estimator returns a weight-space direction that can be amplified to discover and interpret the trait or projected out to suppress it. Applied to the subliminal-learning benchmarks of (Cloud et al., 2026), our method recovers the transmitted animal-preference traits without any trait labels and suppresses their expression with almost no impact to task performance.
• Abstract（参考訳）: 基本パラメータを共有する教師から言語モデルを蒸留すると、生徒は教師の行動特性を継承する。 既存の守備隊はみなその特性を知る必要がある。 この要件を排除し、教師が生成する多様なデータセットに一貫して表現されるのに対して、タスク特化および共有能力は様々である。 得られた推定器は重量空間の方向を返し、それを増幅して特徴を発見し、解釈したり、それを抑えるために投影したりすることができる。 Cloud et al , 2026 のサブリミナル・ラーニング・ベンチマークに応用し, 形質ラベルを使わずに伝達された動物選好特性を復元し, タスク性能にほとんど影響を与えずにその表現を抑える。

関連論文リスト

• Cross-Trait Transfer in Subliminal Learning [4.597959239810839]
  サブリミナルラーニング(サブリミナルラーニング)とは、教師モデルの行動特性を意味的に無関係なアウトプットのトレーニングによって習得する現象である。 本研究では,教師の特性に基づくデータ生成が,生徒の他の特性に対する嗜好をどう変えるかについて検討する。 学生は時として、教師の性格と似ているが同一ではない特性の好みを発達させることが分かる。
  論文  参考訳（メタデータ） (2026-10-03T03:36:48Z)
• Subliminal Learning as Trait-Direction Drift: A Mechanism and Targeted Control under SFT Distillation [6.96679232120357]
  システムプロンプトに偏った教師は、数値シーケンスのような意味的にクリーンなトレーニングデータを生成することができる。 サブリミナル学習のメカニズムとして,特徴方向のドリフトを提案し,検証する。 蒸留中, キャリブレーションされた特性方向に沿ってドリフトを拘束するターゲットディフェンスであるプローブ空間回廊正則化を提案する。
  論文  参考訳（メタデータ） (2026-09-01T11:32:53Z)
• Scaling Model-Generated Distillation Data Can Make Latent Teacher Traits More Recoverable [10.484473401339464]
  より大規模なデータセットは、教師固有の微妙な信号を、訓練された学生が検出しやすくする。 サブリミナル学習にインスパイアされた制御された設定では、ターゲット特性を表現するように誘導された教師が、制限されたオフタスクデータを生成する。 異なる独立したオフタスクデータに基づいて訓練された学生は、別のドメインで評価される。
  論文  参考訳（メタデータ） (2026-08-27T10:59:03Z)
• Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
  弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。 我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
  論文  参考訳（メタデータ） (2026-05-29T10:34:11Z)
• Subliminal Transfer of Unsafe Behaviors in AI Agent Distillation [0.7788319765644828]
  本研究では, モデル蒸留により, 安全でないエージェントの挙動を2つの実験条件でサブリミナルに伝達可能であることを示す。 第一設定では、強い削除バイアスを示す教師エージェントを構築し、視覚的に安全なタスクからの軌跡のみを用いて学生に蒸留する。 ネイティブなBash環境で脅威モデルを複製し、APIツールコールをシェルコマンドに置き換え、最初のパーミッション関連コマンドとしてchmodを発行する代わりにバイアスを運用します。
  論文  参考訳（メタデータ） (2026-04-16T22:23:01Z)
• Exploiting Semantic Attributes for Transductive Zero-Shot Learning [97.61371730534258]
  ゼロショット学習は、視覚的特徴と、そのクラスから学んだ意味的属性の関係を一般化することにより、目に見えないクラスを認識することを目的としている。 本稿では,未知データの意味的属性を生成し,生成過程に付加する新しいZSL法を提案する。 5つの標準ベンチマーク実験により,本手法がゼロショット学習の最先端結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-03-17T09:09:48Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Can contrastive learning avoid shortcut solutions? [88.249082564465]
  暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。 IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-06-21T16:22:43Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。