論文の概要: Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

• arxiv url: http://arxiv.org/abs/2610.10657v1
• Date: Wed, 07 Oct 2026 16:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.606588
• Title: Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors
• Title（参考訳）: Beyond Owls: サブリミナル学習は学習能力とバックドアを移行できる
• Abstract要約: サブリミナルラーニング(サブリミナルラーニング、サブリミナルラーニング、サブリミナルラーニング)では、教師モデルは、その特性に意味的に無関係なデータを蒸留することによって、生徒モデルに特性を渡す。 SLは転送能力、バックドア、ハッキング性を示す。
• 参考スコア（独自算出の注目度）: 9.430977642787953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In subliminal learning (SL), a teacher model passes on a trait to a student model by distillation on data semantically unrelated to the trait. So far, SL has been demonstrated for only a limited range of traits, including preferences for animals (e.g., owls) and malicious personas. These traits can also be elicited with simple prompts or with steering. Can SL transfer a wider range of traits, including more complex ones? If so, distillation might transfer subtle forms of misalignment (e.g., reward-seeking, scheming, and secret loyalties) without detection. To this end, we test whether SL can transfer a novel capability: predicting the outputs of a randomly initialized MLP. After distilling on unrelated text, the student achieves substantial performance on the task, while falling short of the teacher. We find that a directly optimized steering vector matches SL in distribution but generalizes worse out of distribution. Next, we test whether SL can transfer backdoors. We finetune the teacher to answer in French when the prompt contains a female name, then distill on number sequences containing neither names nor French. The student partially acquires the backdoor, responding in French on 23.5% of prompts with female names versus 0.0% with male names. Finally, we test whether SL can transfer a propensity to hack in an agentic chess environment. We finetune the student on number sequences from a steered hacker teacher. The student hacks in 58.3% of episodes, compared with 10.9% for the unfinetuned model. Thus, we show SL can transfer capabilities, backdoors, and hacking propensities. The amount of transfer is sensitive to the setup. In several experiments, it is made stronger by using logit distillation or by restricting LoRA to the attention layers.
• Abstract（参考訳）: サブリミナルラーニング(サブリミナルラーニング、サブリミナルラーニング、サブリミナルラーニング)では、教師モデルは、その特性に意味的に無関係なデータを蒸留することによって、生徒モデルに特性を渡す。 これまでSLは、動物(例えばフクロウ、フクロウ)や悪意のあるペルソナなど、限られた種類の特性でのみ実証されてきた。 これらの特徴は単純なプロンプトやステアリングによっても引き出すことができる。 SLはより複雑な特徴を含む幅広い特性を伝達できるのか? もしそうなら、蒸留は検出することなく微妙な形(例えば、報酬探し、スケジュール、および秘密の忠誠)を伝達することができる。 この目的のために,ランダムに初期化されたMLPの出力を予測することで,SLが新たな能力を伝達できるかどうかを検証した。 無関係なテキストを蒸留した後、生徒は教師に足りず、そのタスクでかなりのパフォーマンスを達成する。 直接最適化されたステアリングベクトルは分布のSLと一致するが、分布の悪さを一般化する。 次に、SLがバックドアを転送できるかどうかをテストする。 私たちは、プロンプトに女性の名前が含まれ、それから名前もフランス語も含まない数列を蒸留するときに、教師にフランス語で答えるように微調整する。 学生は部分的にバックドアを取得し、フランス語の23.5%が女性名、0.0%が男性名である。 最後に,エージェントチェス環境におけるハッキングに対して,SLが正当性を伝達できるかどうかを検証した。 私たちは学生にステアリングされたハッカーの先生から数字のシーケンスを精査する。 学生は58.3%のエピソードをハックし、未修正のモデルでは10.9%だった。 このようにして、SLは転送能力、バックドア、ハッキング性を示す。 転送の量は設定に敏感です。 いくつかの実験では、ロジト蒸留を利用するか、LoRAを注目層に制限することにより、より強くする。

関連論文リスト

• Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year [0.3384279376065155]
  私たちは、他の生徒が教師から受け継いだものについて尋ねる。 私たちはCESNET-TLS-Year22で10の仮説をテストしました。
  論文  参考訳（メタデータ） (2026-09-25T11:32:00Z)
• Subliminal Learning is Non-Semantic Distillation [1.2891210250935148]
  サブリミナルラーニング(サブリミナルラーニング、Subliminal Learning、SL)は、現代の言語モデルで表される驚くべき一般化である。 一見無関係またはランダムな合成データから蒸留することで、教師モデルから生徒へのバイアスや行動の伝達を可能にする。 これにより、AIシステムが予測可能であり、安全にトレーニングされていることを保証する上での課題が提示される。
  論文  参考訳（メタデータ） (2026-08-06T08:18:13Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer [29.621788488063853]
  言語モデルは蒸留中に隠れバイアスを転送することができる。 この現象をサブリミナル学習(subliminal learning)という。 柔らかい蒸留の下では,教師の次点の完全な分布について,教師の指導を受けることができる。
  論文  参考訳（メタデータ） (2025-09-28T13:51:22Z)
• On Teacher Hacking in Language Model Distillation [61.19867259475047]
  我々は,教師のハッキングと呼ばれる同様の現象が,知識蒸留中に起こりうるかどうかを考察する。 これは、教師LMがそれ自体が真の分布の完全な近似であるからである。 オンラインデータ生成技術は、教師のハッキングを効果的に軽減する。
  論文  参考訳（メタデータ） (2025-02-04T19:26:28Z)
• Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
  数発の学習がバックドアアタックに対して脆弱であることは明らかです。 本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。 この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
  論文  参考訳（メタデータ） (2023-12-31T06:43:36Z)
• An Embarrassingly Simple Backdoor Attack on Self-supervised Learning [52.28670953101126]
  自己教師付き学習(SSL)は、ラベルに頼ることなく、複雑なデータの高品質な表現を学習することができる。 SSLのバックドア攻撃に対する脆弱性について検討する。
  論文  参考訳（メタデータ） (2022-10-13T20:39:21Z)
• PTN: A Poisson Transfer Network for Semi-supervised Few-shot Learning [21.170726615606185]
  半教師付き小ショット学習のためのラベルのない情報をマイニングするためのPoisson Transfer Network (PTN)を提案する。 提案手法は,少数のラベル付きデータに対する過剰フィッティング問題を軽減するために,新規クラスの埋め込みを暗黙的に学習する。
  論文  参考訳（メタデータ） (2020-12-20T04:44:37Z)
• What makes instance discrimination good for transfer learning? [82.79808902674282]
  転送学習において,インスタンス識別の事前訓練がどのような効果があるかを検討する。 転送で本当に重要なのは、ハイレベルな表現ではなく、低レベルで中レベルの表現です。 教師付き事前訓練は、模範的なアプローチに従うことで強化することができる。
  論文  参考訳（メタデータ） (2020-06-11T16:55:07Z)
• Subclass Distillation [94.18870689772544]
  本研究では,教師の一般化能力のほとんどを学生に転移させることが可能であることを示す。 既知の、自然なサブクラスが存在するデータセットに対して、教師が同様のサブクラスを学ぶことを示す。 サブクラスが不明なクリックスルーデータセットの場合、サブクラス蒸留により、学生はより速く、より良く学習できることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。