論文の概要: Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer

• arxiv url: http://arxiv.org/abs/2509.23886v1
• Date: Sun, 28 Sep 2025 13:51:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.508628
• Title: Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer
• Title（参考訳）: サブリミナルラーニングの理解に向けて : 隠れたバイアスの伝達の時期と方法
• Authors: Simon Schrodi, Elias Kempf, Fazl Barez, Thomas Brox,
• Abstract要約: 言語モデルは蒸留中に隠れバイアスを転送することができる。 この現象をサブリミナル学習(subliminal learning)という。 柔らかい蒸留の下では,教師の次点の完全な分布について,教師の指導を受けることができる。
• 参考スコア（独自算出の注目度）: 29.621788488063853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models can transfer hidden biases during distillation. For example, a teacher that "likes owls" can make its student "like owls" too, even when the training data consists only of lists of numbers. This surprising phenomenon is called subliminal learning. Subliminal learning can be expected under soft distillation, where the student is trained on the teacher's full next-token distribution. But the fact that this also occurs under hard distillation-where the student only sees sampled tokens-raises a deeper question: when and how does subliminal learning actually occur? We answer this question through controlled experiments and mechanistic analysis. Our results show that subliminal learning does not need (global) token entanglement or logit leakage. Instead, it comes down to a small set of divergence tokens-rare cases where teachers with different biases would predict different tokens. Masking out these tokens mostly removes the hidden bias transfer. Mechanistically, divergence tokens reveal that early layers are critical. Surprisingly, finetuning even a single such early layer is sufficient for subliminal learning. Finally, we find that subliminal learning is fragile. Even small changes, like paraphrasing prompts, are usually sufficient to suppress it.
• Abstract（参考訳）: 言語モデルは蒸留中に隠れバイアスを転送することができる。 例えば、「フクロウが好き」の教師は、訓練データが数字のリストのみで構成されている場合でも、生徒を「フクロウが好き」にすることができる。 この驚くべき現象は、サブリミナルラーニング(subliminal learning)と呼ばれる。 柔らかい蒸留の下では,教師の次点の完全な分布について,教師の指導を受けることができる。 しかし、この現象が、学生がサンプルトークンだけを見るハード蒸留の下でも起こるという事実は、いつ、どのようにしてサブリミナル学習が実際に起こるのかという、より深い疑問を提起する。 制御実験とメカニスティック解析により,この問題に答える。 以上の結果から,サブリミナル学習ではトークンの絡み合いやロジットリークは不要であることが示唆された。 その代わり、異なるバイアスを持つ教師が異なるトークンを予測できるような、分散トークンの小さなセットがある。 これらのトークンをマスクアウトすると、主に隠れたバイアス転送が取り除かれる。 機械的に、発散トークンは初期の層が重要であることを示している。 驚くべきことに、そのような初期層を1つでも微調整することは、サブリミナル学習には十分である。 最後に、サブリミナル学習は脆弱であることがわかった。 パラフレージングプロンプトのような小さな変化でさえ、通常はそれを抑制するのに十分である。

関連論文リスト

• Subliminal Learning: Language models transmit behavioral traits via hidden signals in data [7.092398764321311]
  サブリミナル学習(subliminal learning)は,言語モデルが意味的に無関係なデータを通じて行動特性を伝達する現象である。 特定の条件下で全てのニューラルネットワークでサブリミナル学習が発生することを示す理論的結果を示す。 サブリミナル学習は、AI開発に予期せぬ落とし穴を生じさせる一般的な現象である、と結論付けている。
  論文  参考訳（メタデータ） (2025-07-20T03:51:13Z)
• The pitfalls of next-token prediction [18.68202374460919]
  次トーケン予測の2つの相は明確に扱わなければならないと論じる。 自己回帰推論においてエラーが複雑になるという一般的な批判は、教師の強制が正確な次段階の予測を学習したことを決定的に仮定している。 本稿では,教師の強制力の失敗に関する一般的なメカニズムを説明し,トランスフォーマーとマンバアーキテクチャの両方が実証的に失敗する最小限の計画課題を設計する。
  論文  参考訳（メタデータ） (2024-03-11T17:47:30Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Less is More: Task-aware Layer-wise Distillation for Language Model Compression [68.30497162547766]
  層ワイド蒸留は、大きなモデル(すなわち教師モデル)を小さなモデルに圧縮する強力なツールである。 我々は,新しいタスク対応ライEr-wise Distillation (TED)を提案する。 TEDは、各レイヤで生徒と教師の隠された表現を調整するためにタスク認識フィルタを設計する。
  論文  参考訳（メタデータ） (2022-10-04T03:36:53Z)
• Revisiting Self-Distillation [50.29938732233947]
  自己蒸留とは、大きなモデル(教師)からよりコンパクトなモデル(生徒)に「知識」を移す手順である。 いくつかの作品では、自給自足の生徒が保持されたデータで教師より優れているという逸話がある。 我々は、自己蒸留がより平坦なミニマムをもたらすことを示すための広範な実験を行い、その結果、より良い一般化をもたらす。
  論文  参考訳（メタデータ） (2022-06-17T00:18:51Z)
• Distilling Double Descent [65.85258126760502]
  蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。 教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
  論文  参考訳（メタデータ） (2021-02-13T02:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。