論文の概要: Beyond Embedding Transfer: Component Roles in Grokking Transfer and Stability
- arxiv url: http://arxiv.org/abs/2609.18078v1
- Date: Wed, 16 Sep 2026 03:28:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.624599
- Title: Beyond Embedding Transfer: Component Roles in Grokking Transfer and Stability
- Title（参考訳）: 埋め込み転送を超えて: グローキング転送と安定性におけるコンポーネントの役割
- Abstract要約: ウォームスタート転送は急速に急上昇する可能性があるが、どのモデルコンポーネントがゲインを提供し、そのゲインが継続的な最適化の下で安定しているかどうかは不明である。
モジュラー算術におけるクロスオペレータ転送と安定性の分離効果(初期速度)について検討する(後引き)。
オンライン検証ゲーティングはTrue Max Drawdownを22.06%から2a+bで0.60%に削減する(p0488)
- 参考スコア（独自算出の注目度）: 3.370742258560895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Warm-start transfer can make algorithmic tasks generalize rapidly, yet it is unclear which model components provide the gain and whether that gain remains stable under continued optimization. We study cross-operator transfer on modular arithmetic and separate efficacy (early velocity) from stability (post-reach drawdown). In a scale-matched 108-run battery across 12 seed blocks (96-run 2^3 factorial plus 12-run scale control), transferring internal attention/MLP weights (B) alongside token embeddings and readout (E+U) improves early accuracy by 5.46 pp (Holm p=0.0039) and cuts confirmation latency by 558 steps (Holm p=0.0088). While readout plus internal-block transfer satisfies the pre-specified +/-500-step latency equivalence criterion in 1-layer models (TOST p=0.0011, though Full is faster in 11/12 paired seeds), a prospective 2-layer replication confirms the internal-block advantage (12/12 seeds, +704.67 integral units, p=4.88x10^-4) while revealing an architectural boundary: omitting donor embeddings falls 4475.6 units below Full, outside the +/-250-unit margin. Continued target training frequently triggers severe post-grokking relapse. Freezing transferred representation carriers (E, U) nearly eliminates offline relapse (19.40% -> 0.07%, Holm p=0.005859). Online validation-triggered gating slashes True Max Drawdown from 22.06% to 0.60% on 2a+b (p=0.000488), with prospective confirmations extending protection across affine, nonlinear quadratic, and 2-layer targets (10.94-23.47 pp reductions), distinguishing continual stabilization from static early stopping. In non-abelian S_5, unshielded transfer surges transiently (95.4% peak), but a prospective shielding cohort yields no confirmed benefit (+0.15 +/- 1.14 pp). These results establish a component-level dissociation between transfer acceleration and trajectory stability, and expose the empirical boundaries of parameter shielding.
- Abstract（参考訳）: ウォームスタート転送はアルゴリズムタスクを急速に一般化させるが、どのモデルコンポーネントがゲインを提供し、そのゲインが継続的な最適化の下で安定であるかどうかは不明である。
モジュラー算術におけるクロスオペレータ転送について検討し、安定性(後引き)から有効性(初期速度)を分離する。
12個のシードブロック(96ラン2^3因子+12ランスケール制御)にわたるスケールマッチした108ランバッテリーでは、トークン埋め込みとリードアウト(E+U)と共に内部の注目/MLP重量(B)を移動させることで、早期の精度が5.46pp(ホルムp=0.0039)向上し、確認待ち時間を558ステップ(ホルムp=0.0088)短縮する。
1層モデル(TOST p=0.0011, Full is faster in 11/12 paired seed, +704.67 integral units, p=4.88x10^-4)では、リードアウトと内部ブロック転送が事前定義された+/-500ステップの遅延等価値基準を満たす一方で、2層レプリケーションは内部ブロックの利点(12/12 seed, +704.67 integral units, p=4.88x10^-4)を確認し、アーキテクチャ上の境界を明らかにしている。
標的訓練を継続すると、深刻な後再発が頻繁に引き起こされる。
転送された表現キャリア (E, U) は、ほとんどオフラインの再発(19.40% -> 0.07%, Holm p=0.005859)をなくす。
オンラインのバリデーショントリガーによるガッティングはTrue Max Drawdownを22.06%から0.60%に削減し(p=0.000488)、アフィン、非線形二次、および2層ターゲット(10.94-23.47 pp)にわたって保護を延長し、静的な早期停止と連続的な安定化を区別する。
非アーベルのS_5では、非シールド輸送は過渡的に(95.4%のピーク)上昇するが、予想される遮蔽コホートは(+0.15 +/- 1.14 pp)、確証のない利益をもたらす。
これらの結果は、伝達加速度と軌道安定性の間の成分レベルの解離を確立し、パラメータ遮蔽の実証的境界を明らかにする。
関連論文リスト
- Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。
予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
論文 参考訳（メタデータ） (2026-09-01T10:46:42Z) - Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。
この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。
3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
論文 参考訳（メタデータ） (2026-07-05T17:31:36Z) - Latent Clarity: Bridging World-Model Kinematics to Semantic Manifolds for Video Anomaly Anticipation [0.0]
継続的ビデオ検出は、リアクティブなMIL(Multiple Instance Learning)によって支配され、機能がスコアに分解される。
本稿では,連続的な意味的世界モデルパイプラインであるPULS(Predictive Unified Latent Space)を紹介する。
この翻訳だけで、UCF-Crime のチャンクレベル AUROC は 0.8994 であり、MIL や階層融合のない分布外異常は 0.8162 である。
論文 参考訳（メタデータ） (2026-07-03T18:47:54Z) - Ghost: Plausible Yet Unlearnable Trajectories via On-Manifold Substitution for Next-POI Privacy [34.07056031726073]
チェックイントラジェクトリをリリースするパブリッシャは、ユーザの将来位置の強い予測器を不注意に公開する。
このリスクに対処するために、クリーンなテスト入力に対して次点次点(next-POI)の精度を低下させた被害者モデルを生成する、学習不能なトラジェクトリ、摂動シーケンスを生成する。
我々はGhostを提案する。Ghostは、摂動が人間のチェックインシーケンスのように見えるが、学習可能な信号は残っていない。
論文 参考訳（メタデータ） (2026-06-02T14:31:14Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime [28.346931878148524]
Prefix Sampling (PS)は、自己生成した軌跡の接頭辞を再生し、スキュードグループをこの体制に向けて操る。
PSは評価変数のベースラインのハイスコア状態に達し、2.01xと1.55xのエンドツーエンドのウォールクロックスピードアップを提供する。
AIME 2025は4Bと8Bで同じパスレート制御パターンを示した。
論文 参考訳（メタデータ） (2026-05-06T16:44:38Z) - SwarmDrive: Semantic V2V Coordination for Latency-Constrained Cooperative Autonomous Driving [28.170123464713782]
本稿では,セマンティックなV2V協調フレームワークであるSwarmDriveを紹介する。
SwarmDriveは、不確実性が高い場合にのみ、コンパクトな意図分布を共有し、イベントトリガーによるコンセンサスを通じてそれらを融合する。
以上の結果から, セマンティックエッジの協調作業は, 対象交差点の場合の厳密な遅延制約の下で動作可能であるが, 実際の6Gスタックのデプロイメントグレードの検証ではない。
論文 参考訳（メタデータ） (2026-04-22T08:02:18Z) - Learning When to Act: Interval-Aware Reinforcement Learning with Predictive Temporal Structure [0.0]
本稿では,経験から認知的ティッチ間の最適間隔を学習する,軽量な時間制御システムを提案する。
また、選択した待ち時間に対する非効率性を明示するインターバルアウェア報酬を提案する。
論文 参考訳（メタデータ） (2026-03-23T16:46:17Z) - RPMS: Enhancing LLM-Based Embodied Planning through Rule-Augmented Memory Synergy [34.723296971298424]
LLMエージェントは、厳密な前提条件を満たす必要があるため、クローズドワールドの実施環境で失敗することが多い。
P1) 無効な動作生成と(P2) 状態ドリフトの2つの構造的結合型障害モードを同定する。
本稿では、構造化ルール検索によるアクション実現性を強制する、コンフリクト管理アーキテクチャRPMSを提案する。
論文 参考訳（メタデータ） (2026-03-18T15:26:00Z) - Bayesian Transformer for Probabilistic Load Forecasting in Smart Grids [0.0]
本研究では,3つの相補的不確実性機構をPatchTSTバックボーンに統合したベイズ変圧器フレームワークを提案する。
7段階のマルチクエンタリーピンボールロス予測ヘッドと、訓練後の等音波回帰キャリブレーションにより、鋭く、ほぼ一意にカバーされた予測間隔が生成される。
主要なベンチマーク(PJM, H=24h)では、BTは0.0289のCRPSを達成し、Deep Ensemblesより7.4%、決定論的LSTMより29.9%改善した。
論文 参考訳（メタデータ） (2026-03-09T02:39:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。