論文の概要: Why Ghost Outputs Teach: A Kernel-Based Understanding of Subliminal Learning
- arxiv url: http://arxiv.org/abs/2609.23260v1
- Date: Sun, 20 Sep 2026 00:29:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.74047
- Title: Why Ghost Outputs Teach: A Kernel-Based Understanding of Subliminal Learning
- Title（参考訳）: ゴーストがTeachを出力する理由: カーネルによるサブリミナル学習の理解
- Abstract要約: サブリミナルラーニング(サブリミナルラーニング、Subliminal Learning, SL)は、教師の意図しない補助出力をマッチングすることにより、学生モデルが下流のタスク能力を取得する現象である。
学習力学のレンズによるSLの機械的理解を提供する。
- 参考スコア（独自算出の注目度）: 14.696135173979513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subliminal Learning (SL) is a recently identified phenomenon in which a student model acquires downstream task capabilities by matching seemingly unrelated auxiliary outputs from a teacher, despite never observing task labels, task-specific outputs, or the original training data. While recent studies have identified where subliminal signals may reside, the optimization mechanism underlying this phenomenon remains poorly understood. In this work, we provide a mechanistic understanding of SL through the lens of learning dynamics. Specifically, we derive a chained cross-task kernel that explicitly links ghost-output supervision to changes in task predictions through shared backbone representations. Our unified analytical framework provides a rigorous mathematical explanation for three central empirical puzzles in SL: (i) under shared initialization, the transfer operator forms a strictly Positive Semi-Definite (PSD) structure, guaranteeing that ghost-output optimization aligns the student with the teacher's true task objective without explicit label exposure; (ii) the ghost-output dimensionality acts as an explicit rank bottleneck governing the transfer of task-relevant features; and (iii) synthetic, high-entropy inputs function as broadband probes that maximize cross-task kernel overlap, explaining why random noise consistently outperforms structured data for subliminal transfer. Experiments on the canonical ghost-output setting validate all three theoretical predictions, providing the first learning-dynamics-based theoretical explanation of how ghost-output supervision gives rise to subliminal learning.
- Abstract（参考訳）: サブリミナルラーニング(サブリミナルラーニング、Subliminal Learning, SL)は、教師がタスクラベル、タスク固有のアウトプット、または元のトレーニングデータを観察しないにもかかわらず、教師からの一見無関係な補助的なアウトプットをマッチングすることによって、下流タスク能力を取得する現象である。
最近の研究では、サブリミナルシグナルがどこに存在するかが特定されているが、この現象の根底にある最適化メカニズムはいまだに理解されていない。
本研究では,学習力学のレンズによるSLの機械的理解を提供する。
具体的には、ゴーストアウトプットの監視を共有バックボーン表現によるタスク予測の変化に明示的にリンクするチェーン型クロスタスクカーネルを導出する。
我々の統合分析フレームワークは、SLの3つの中心的経験パズルの厳密な数学的説明を提供する。
(i)共有初期化の下では、転送オペレータが厳密な正の半定(PSD)構造を形成し、ゴーストアウトプットの最適化が、明示的なラベルの露出なしに、生徒の真のタスク目標と整合することを保証する。
(二 ゴーストアウトプットの次元性は、タスク関連特徴の移転を規定する明示的な階級のボトルネックとして機能する。)
3)クロスタスクカーネルオーバーラップを最大化するブロードバンドプローブとして機能する合成高エントロピー入力は,なぜランダムノイズがサブリミナル転送のための構造化データより一貫して優れているのかを説明する。
標準的なゴーストアウトプット設定の実験は、3つの理論的予測を全て検証し、ゴーストアウトプットの監督がサブリミナルな学習を引き起こす方法に関する最初の学習力学に基づく理論的説明を提供する。
関連論文リスト
- Sparsity, Superposition, and Forgetting: A Mechanistic Study of Representation Retention in Continual Learning [6.113106953880908]
連続学習システムは、しばしば以前取得した知識を忘れる。
我々は, 忘れる機構を観察し, テスト可能にする, 制御されたおもちゃの世界フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-18T16:10:40Z) - Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought [15.598263332303612]
大規模言語モデル(LLM)は、様々なタスクにまたがる卓越した習熟度を示した。
本研究は,3つの重要な疑問に対処することによって,これらの観測の基礎を掘り下げる。
論文 参考訳（メタデータ） (2026-02-16T10:57:26Z) - MIND: From Passive Mimicry to Active Reasoning through Capability-Aware Multi-Perspective CoT Distillation [16.96094045628127]
既存のアプローチでは、学生は一つの黄金の合理性に従うことを制限し、異なる推論経路を個別に扱う。
このミスアライメントは、学生の潜在的推論分布を劣化させ、最適以下のパフォーマンスを引き起こす。
我々は,受動的模倣から能動的認知構築へ移行する能力フィルタリングフレームワーク MIND を提案する。
論文 参考訳（メタデータ） (2026-01-07T09:08:59Z) - Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。
結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。
カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文 参考訳（メタデータ） (2025-11-10T18:29:54Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data [3.376269351435396]
構造因果モデル(SCM)を用いた探索の形式的視点を開発する。
我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。
我々の手法は、LMがテキストの根底にある潜在概念を誘発する能力を示す、堅牢な実証的な証拠を提供する。
論文 参考訳（メタデータ） (2024-07-18T17:59:27Z) - Intrinsic Dynamics-Driven Generalizable Scene Representations for Vision-Oriented Decision-Making Applications [0.21051221444478305]
シーン表現の能力をいかに向上させるかは、ビジョン指向の意思決定アプリケーションにおいて重要な問題である。
視覚強化学習におけるシーケンスモデルを用いた固有ダイナミクス駆動表現学習法を提案する。
論文 参考訳（メタデータ） (2024-05-30T06:31:03Z) - TVE: Learning Meta-attribution for Transferable Vision Explainer [76.68234965262761]
本稿では,下流タスクにおける様々な視覚モデルを効果的に説明できるTransferable Vision Explainer(TVE)を提案する。
TVEは,大規模データセットの事前学習プロセスを通じて,メタ属性の学習を実現する。
このメタ属性は、一般的なバックボーンエンコーダの汎用性を利用して、入力インスタンスの属性知識を包括的にエンコードし、TVEがシームレスに転送し、様々な下流タスクを説明することを可能にする。
論文 参考訳（メタデータ） (2023-12-23T21:49:23Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - A Theoretical Understanding of Shallow Vision Transformers: Learning,
Generalization, and Sample Complexity [71.11795737362459]
自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。
しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。
本稿では,分類タスクのための浅いViTの理論的解析を行った。
論文 参考訳（メタデータ） (2023-02-12T22:12:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。