論文の概要: Stored in Optimizer State, Valued by Later Training: A Causal Account of Subliminal Trait Transfer
- arxiv url: http://arxiv.org/abs/2608.20442v1
- Date: Thu, 20 Aug 2026 15:21:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.096067
- Title: Stored in Optimizer State, Valued by Later Training: A Causal Account of Subliminal Trait Transfer
- Title(参考訳): 最適化状態に記憶された後天訓練の意義--サブリミナルトレーディングの因果的説明
- Abstract要約: サブリミナル・トレイト・トランスファー(Subliminal trait transfer)は、教師が生成したデータから生徒モデルが行動の振舞いを取得することを可能にする。
最近の研究は、これらの信号がどのように勾配に入るかを説明するが、ソース除去を生き延びるか、後の訓練で異なる信号を取得するかは説明していない。
我々は、将来の継続と行動の読み出しによって割り当てられた値から、観測者に依存しないソースの伝搬を分離した正確な輸送評価IDを導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Subliminal trait transfer allows a student model to acquire behavioral dispositions from teacher-generated data in which the trait is not semantically expressed. Recent work explains how such signals enter gradients, but not how they survive source removal or acquire different signs under later training. We treat parameters and optimizer moments as a single trainer state and derive an exact transport-valuation identity separating observer-independent propagation of the source perturbation from the value assigned by a future continuation and behavioral readout. State surgery identifies the first moment as a causal carrier. Transplanting it alone leaves parameters, hidden states, and outputs unchanged at the cut, yet source-free updates generate growing parameter and hidden-state differences; transplanting parameters with the first moment recovers the terminal behavioral response. Sending the same source-induced difference through matched futures produces negative, near-zero, and positive Qwen effects (-0.658, +0.008, and +0.658 seed means). This ordering recurs in all 12 Llama-3.2-1B seeds after eight updates, while state-difference norms remain nearly equal across routes. Both contrasts grow in every paired seed when the continuation extends to sixteen updates. A full-horizon costate predicts all 42 Qwen route-mean signs and all 21 resolved Llama ordinary-route signs. Observer-independent transport also replicates across Qwen, SmolLM2, and Llama, while the complete-state recurrence predicts physical, hidden, and fixed-head responses in non-LoRA MNIST systems, including CNNs trained with AdamW and momentum SGD. Together, these results identify a two-stage mechanism for subliminal trait transfer: optimizer state transports the source perturbation, and later training determines its behavioral value.
- Abstract(参考訳): サブリミナル・トレイト・トランスファー(Subliminal trait transfer)は、生徒モデルにおいて、その特性が意味論的に表現されない教師生成データから行動配置を取得することを可能にする。
最近の研究は、これらの信号がどのように勾配に入るかを説明するが、ソース除去を生き延びるか、後の訓練で異なる信号を取得するかは説明していない。
パラメータとオプティマイザモーメントを単一のトレーナー状態として扱い、将来の継続と行動読出によって割り当てられた値から、ソース摂動のオブザーバ非依存的な伝播を分離した正確なトランスポート評価IDを導出する。
国家手術は、最初の瞬間を因果キャリアとして特定する。
移植だけでパラメータ、隠蔽状態、出力はカット時に変化しないが、ソースのない更新は成長するパラメータと隠蔽状態の違いを生成し、第1モーメントでパラメータを移植すると端末の動作応答が回復する。
一致した未来を通して同じソースによって引き起こされる差を送れば、負の、ほぼゼロの、正のQwen効果(-0.658、+0.008、+0.658のシード平均)が生じる。
この順序付けは、8回の更新後に全12種のLlama-3.2-1B種子に再帰するが、状態差ノルムはルート全体でほぼ等しい。
両方のコントラストは、継続が16更新まで延長されたときに、すべてのペアシードで成長する。
フルホライゾンは42のQwenルート平均標識と21の解決されたLlama通常のルート標識を全て予測する。
オブザーバ非依存的な輸送はQwen、SmolLM2、Llamaをまたいで複製するが、完全状態の再発は非LoRA MNIST系の物理的、隠蔽、固定頭反応を予測し、AdamWと運動量SGDで訓練されたCNNを含む。
これらの結果とともに、サブリミナルな形質伝達の2段階のメカニズムが特定され、オプティマイザ状態はソース摂動を伝達し、後のトレーニングはその振る舞い値を決定する。
関連論文リスト
- MicroVerse: An Instrument for Measuring Self-Authored Identity Drift in Long-Horizon Multi-Agent Language-Model Simulations [47.771518253102975]
MicroVerseは、生成エージェントのアイデンティティドリフトを測定する行動科学機器である。
エージェントは不変の"ソウルファイル"(コア値、モラル境界、パーソナリティ、目標)を持ち、50 x 50の環境に生息する。
反自己偽装は、アイデンティティー修飾の単一の最大の意味圏として現れない。
論文 参考訳(メタデータ) (2026-08-16T16:31:42Z) - SpikeWorld: Fast-State Adaptation for Frozen Spiking World Models [0.0]
ヘテロジニアスな感覚予測,セマンティクス,画像テキストバインディング,動作条件付きダイナミクスを共同で訓練した1.45MスパーススパイキングモデルであるSpikeWorldを紹介する。
共同最適化により、アクション次世代MSEは17.10%改善され、マルチモーダル予測、セマンティック精度、画像テキスト検索が改善された。
論文 参考訳(メタデータ) (2026-08-07T18:57:06Z) - PRIME: Plasticity Recovery in Multi-Agent Environments for UAV-Assisted Emergency Communication Networks [5.059907627897051]
目的が変わると、ニューロンは徐々に休眠状態になり、共有ポリシーは学習能力を失う。
持続的非定常性は、この内部状態を直接的に損なうことを示す。
PRIMEはMAPPOよりも24.9%向上する。
論文 参考訳(メタデータ) (2026-07-20T13:19:58Z) - Shift & Drift: A Zero-Shot Benchmark for Generalizable and Robust Autonomous Driving Motion Planning [60.888463449435484]
シフト・アンド・ドリフト(Shift & Drift)は、分散シフトの2つの重要な軸にまたがる、厳密なストレス-テスト運動プランナーのための新しいデュアルトラックベンチマークである。
擬似学習手法は,IDベンチマークにおいて高いスコアを得るが,時間的に相関したアクティベーションノイズを受けると持続的なドリフトに悩まされることを示す。
本研究は, 模擬忠実度と閉ループレジリエンスのトレードオフを実証的に明らかにし, 信頼性の高い展開に向けた進捗を評価するための厳密なベンチマークをコミュニティに提供する。
論文 参考訳(メタデータ) (2026-07-08T18:23:48Z) - Agent Step Value: Auditing Evaluator-Channel Reversals in Black-Box Agent Traces [2.4293637634506404]
評価器由来のステップ報酬がスコアリングチャネル間でプールされたり比較されたりした場合、それらのサインは輸送可能なものとして扱われる。
エージェントステップ値(ASV)をチャネルインデクシングされたターゲットマージンゲインとして定義し、チャネル間相互作用の欠如を識別する。
論文 参考訳(メタデータ) (2026-07-05T17:27:56Z) - Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry [3.2848713528308817]
大規模言語モデルは多段階の推論で幻覚するが、既存の検出器のほとんどはトレースレベルで動作する。
我々はこのビューをラベル付き教師で運用し、トレース固有のコントラスト型PCAレンズを構築する。
コントラストPCAが第1次誤差と正しい状態の移動分離目標の最適投影であることを示す。
論文 参考訳(メタデータ) (2026-05-13T16:48:48Z) - Seed-Induced Uniqueness in Transformer Models: Subspace Alignment Governs Subliminal Transfer [0.3805935148497361]
教師が生徒が線形に復号化できる隠された特徴を埋め込むトランスフォーマーモデルにおけるサブリミナルトランスファーの分析を行う。
伝達強度は特性識別部分空間内のアライメントに比例する。
論文 参考訳(メタデータ) (2025-11-02T17:34:43Z) - Open-World Pose Transfer via Sequential Test-Time Adaption [92.67291699304992]
典型的なポーズ転送フレームワークは、通常、識別モデルをトレーニングするために代表的データセットを使用する。
テスト時間適応(TTA)は、自己スーパービジョンで本質的な特徴を学習する事前学習モデルを使用することで、OODデータに対して実現可能なソリューションを提供する。
実験では、まず、Tiktokの再現や有名人による動き合成など、オープンワールドの応用に、ポーズ転送が適用可能であることを示す。
論文 参考訳(メタデータ) (2023-03-20T09:01:23Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳(メタデータ) (2022-11-29T15:33:02Z) - Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion [88.45326906116165]
運動不確定性拡散(MID)の逆過程として軌道予測タスクを定式化する新しい枠組みを提案する。
我々は,履歴行動情報と社会的相互作用を状態埋め込みとしてエンコードし,トランジトリの時間的依存性を捉えるためにトランスフォーマーに基づく拡散モデルを考案する。
スタンフォード・ドローンやETH/UCYデータセットなど,人間の軌道予測ベンチマーク実験により,本手法の優位性を実証した。
論文 参考訳(メタデータ) (2022-03-25T16:59:08Z) - Interplay between transport and quantum coherences in free fermionic
systems [58.720142291102135]
自由フェルミオン系のクエンチダイナミクスについて検討する。
特に,入力として定常電流の値をとり,出力として相関値を与えるEmphtransition Mapをダブする関数を同定する。
論文 参考訳(メタデータ) (2021-03-24T17:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。