論文の概要: Tracing Subliminal Learning Through Pretraining

• arxiv url: http://arxiv.org/abs/2610.30884v1
• Date: Thu, 22 Oct 2026 08:04:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.27741
• Title: Tracing Subliminal Learning Through Pretraining
• Title（参考訳）: 事前学習によるサブリミナル学習の追跡
• Abstract要約: 他のモデルによって生成されたデータに基づいてトレーニングされた大規模な言語モデルは、そのデータとは無関係な特性を継承することがある。 本研究では, 学生が偏りのある教師が生成した数字を学習するハードラベル蒸留法と, 生徒がデータを生成し, 教師の足跡が学習信号を提供するオンラインソフトラベル蒸留法について検討した。
• 参考スコア（独自算出の注目度）: 1.7499351967216341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models trained on data generated by other models can sometimes inherit traits unrelated to that data, a phenomenon called subliminal learning. We study both hard label distillation, where students train on numbers generated by a biased teacher, and on-policy soft label distillation, where students generate the data and the teacher's logits provide the learning signal. Using Pythia, PolyPythia, and DataDecide OLMo models, we find that transfer persists in both settings across differences in weight initialization, pretraining data order, pretraining corpus, model size, and architecture. Across pretraining checkpoints, the ability to transmit a preference and the ability to acquire one develop separately: some checkpoints are more effective teachers but weaker students, and vice versa. Consistent with this distinction, cross-model transfer can be strongly asymmetric in magnitude when teacher and student roles are reversed. To investigate what carries the preference signal, we construct synthetic number sequences that match the teacher's generated number frequencies but have no dependence on the prompt or preceding numbers and find that these still induce substantial transfer in the hard-label setting. In top-$K$ soft-label distillation, removing animal tokens from the loss reduces transfer, although not completely in the same-model setting. In our experiments, soft label distillation produces more consistent transfer with less extensive training than hard label distillation. The growing use of on-policy distillation in model post-training makes this a particularly relevant setting for assessing unintended preference transfer.
• Abstract（参考訳）: 他のモデルによって生成されたデータに基づいてトレーニングされた大規模な言語モデルは、そのデータとは無関係な特性を継承することがある。 本研究では, 学生が偏りのある教師が生成した数字を学習するハードラベル蒸留法と, 生徒がデータを生成し, 教師の足跡が学習信号を提供するオンラインソフトラベル蒸留法について検討した。 Pythia、PolyPythia、DataDecide OLMoモデルを用いて、ウェイトの初期化、データ順序の事前訓練、コーパスの事前訓練、モデルサイズ、アーキテクチャの違いによって、転送が両方の設定で持続することを発見した。 あるチェックポイントはより効果的な教師であるが、より弱い学生であり、その逆である。 この区別に従えば、教師と学生の役割が逆転した場合、クロスモデル転送はマグニチュードにおいて強く非対称となる。 そこで本研究では,教師が生成した数周波数にマッチする合成数列を作成したが,プロンプトや先行数に依存せず,ハードラベル設定でかなりの転送が生じることを確認した。 上位$Kのソフトラベル蒸留では、動物のトークンを損失から取り除くことで転送が減少するが、全く同じモデルでは成立しない。 本実験では, 軟質ラベル蒸留法により, 硬質ラベル蒸留法よりも広範囲なトレーニングを行なわずに, より一貫したトランスファーが得られた。 モデル後訓練におけるオンライン蒸留の利用の増加は、意図しない嗜好伝達を評価するための特に重要な設定となっている。

関連論文リスト

• Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision [43.284214508946015]
  LLM-as-a-Judge知識蒸留は教師による実演の代替となる。 ここで研究されたラベルのみの変種では、学生は全ての反応を生成し、スカラースコアのみから改善する。 教師が生成した答えが生徒のトレーニングセットに入ることはないので、評価者固有の痕跡は低帯域幅の報酬信号を通さなければならない。 報酬そのものに行動選好の登録パターンをエンコードする放射能フィードバックを導入する。
  論文  参考訳（メタデータ） (2026-10-11T15:09:58Z)
• TRAP: Understanding and Mitigating Privacy Memorization in Language Models [11.285834215372072]
  センシティブなレコード上で言語モデルを微調整することで、それらを再現することができる。 我々は、この記憶がいつ発生し、どのスパンが敏感であるかを事前に知ることなく、それを防ぐか尋ねる。 TRAPはトークン単位のTRAに一方的なペナルティを導入し、ターゲットモデルがその参照に先んじる場合にのみ作用する。
  論文  参考訳（メタデータ） (2026-09-26T06:36:39Z)
• Scaling Model-Generated Distillation Data Can Make Latent Teacher Traits More Recoverable [10.484473401339464]
  より大規模なデータセットは、教師固有の微妙な信号を、訓練された学生が検出しやすくする。 サブリミナル学習にインスパイアされた制御された設定では、ターゲット特性を表現するように誘導された教師が、制限されたオフタスクデータを生成する。 異なる独立したオフタスクデータに基づいて訓練された学生は、別のドメインで評価される。
  論文  参考訳（メタデータ） (2026-08-27T10:59:03Z)
• Subliminal Learning is Non-Semantic Distillation [1.2891210250935148]
  サブリミナルラーニング(サブリミナルラーニング、Subliminal Learning、SL)は、現代の言語モデルで表される驚くべき一般化である。 一見無関係またはランダムな合成データから蒸留することで、教師モデルから生徒へのバイアスや行動の伝達を可能にする。 これにより、AIシステムが予測可能であり、安全にトレーニングされていることを保証する上での課題が提示される。
  論文  参考訳（メタデータ） (2026-08-06T08:18:13Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Weighted Distillation with Unlabeled Examples [15.825078347452024]
  ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T04:08:56Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)
• Distilling Double Descent [65.85258126760502]
  蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。 教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
  論文  参考訳（メタデータ） (2021-02-13T02:26:48Z)
• Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective [63.87421152879726]
  軟質ラベルを用いた蒸留によるバイアス分散トレードオフについて検討した。 本稿では,サンプル単位のバイアス分散トレードオフを適応的に処理するための,新しい重み付きソフトラベルを提案する。
  論文  参考訳（メタデータ） (2021-02-01T05:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。