論文の概要: Measuring Structured Predictability in Neural Training Dynamics: A Cross-Regime Study

• arxiv url: http://arxiv.org/abs/2608.15483v1
• Date: Sun, 16 Aug 2026 02:17:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.318739
• Title: Measuring Structured Predictability in Neural Training Dynamics: A Cross-Regime Study
• Title（参考訳）: ニューラルトレーニングダイナミクスにおける構造的予測可能性の測定:クロスレジーム研究
• Abstract要約: 現代のディープネットワークは、長い更新軌跡を通じて訓練されているが、その時間的組織は、アーキテクチャや損失、再配布よりも体系的に特徴付けられていない。 時間的冗長度, 時間的冗長度, トレーニング条件の更新時期, 時間的変化の指標として, 近未来パラメータの運動に関する情報を含む短水平予測可能性について検討した。
• 参考スコア（独自算出の注目度）: 2.8019744694531554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep networks are trained through long update trajectories, yet their temporal organization remains less systematically characterized than architectures, losses, or optimizers. We study short-horizon predictability as a measure of temporal redundancy: where, when, and under which training conditions recent updates contain information about near-future parameter motion. We combine three complementary probe families, displacement-direction, subspace-residual, and predictor-based probes, with convention-aware, null-calibrated group-level readouts, and apply them to multi-pass vision training on CIFAR and public Pythia pretraining checkpoints. Across both regimes, vector-like tensors such as normalization parameters and biases (auxiliary parameters) exhibit simpler short-horizon dynamics than matrix-like feature-transforming weights (bulk parameters), whose predictable behavior concentrates in localized, time-varying pockets. Agreement within and across probe families, and with independent trajectory diagnostics, indicates that these measurements capture intrinsic trajectory structure, while probe differences distinguish complementary forms of temporal organization. Controlled CIFAR comparisons further show that architecture and training recipe systematically modulate the measured structure. A Pythia-70M case study further exposes a sequence of role-, depth-, and scale-dependent events, including bulk ESA falling below the random sign-agreement level and the emergence and redistribution of predictable qkv pockets across layers. These results position short-horizon predictability as a retrospective, parameter-resolved diagnostic of training dynamics.
• Abstract（参考訳）: 現代のディープネットワークは、長い更新軌跡を通じて訓練されているが、その時間的組織は、アーキテクチャや損失、最適化よりも体系的に特徴付けられていない。 本研究では,時間的冗長度(時間的冗長度)の指標として,短期水平予測可能性について検討する。 CIFARとPythia事前学習チェックポイントのマルチパスビジョントレーニングには,3つの相補的なプローブファミリー,変位方向,部分空間残差,および予測器ベースのプローブ,およびコンベンション対応,ヌル校正されたグループレベルの読み出しを併用する。 どちらも、正規化パラメータやバイアス(補助パラメータ)のようなベクトルのようなテンソルは、行列のような特徴変化重み(バルクパラメータ)よりも単純な短水平ダイナミクスを示し、予測可能な振る舞いは局所化、時間変化のポケットに集中する。 プローブファミリ内および独立軌跡診断との一致は、これらの測定が固有の軌道構造を捉え、プローブ差は時間的組織を補完する形態を区別することを示している。 制御されたCIFAR比較は、アーキテクチャとトレーニングのレシピが測定された構造を体系的に変調することを示している。 Pythia-70M のケーススタディでは、ランダムなサイン-アグリメントレベル以下にあるバルク ESA や、予測可能な qkv ポケットの層間における出現と再分配など、ロール-、深さ-、スケール依存の事象がさらに明らかにされている。 これらの結果は、短期水平予測可能性を、トレーニング力学のパラメータ分解診断の振り返りとして位置づけている。

関連論文リスト

• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• Learning Structural Convergence: A Neuro-Symbolic Benchmark for Temporal Reasoning [2.7644691581661287]
  本稿では,高複雑性イベント駆動システムにおける時間構造推論のベンチマークであるTRACTAを紹介する。 ベンチマークには、 early_warning、 pattern_detection、run_classificationの3つのタスクが含まれている。 結果から, 生の事象レベルの学習は依然として有意であるが, 意味的能力に対する時間的モデリングは, 最高集合点推定を達成していることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T14:50:19Z)
• Learning Spatio-Temporal Foundation Models from Pure Synthetic Data [85.23980441738811]
  NeoSTは、現実バイアスに対するスケーラブルな合成学習コーパスであり、複数の将来の軌跡を反復的に生成・洗練する潜在空間推論アーキテクチャであり、構造的ダイナミクスを強調し、分散シフトの下で推論時間補正を可能にする潜在空間目的である。 様々な実世界のベンチマークによる大規模な実験は、NeoSTが様々な実世界の時間系において既存のSTFMより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-06-27T02:56:46Z)
• Topological Out-of-Domain Generalization in Dynamical Systems Reconstruction [9.842968830321876]
  力学系(DS)の挙動を予測することは、科学MLにおいて、トレーニングで観察される力学系とパラメータ系を超えた、重要かつ本質的に未解決な問題である。 近年のDS再構成(DSR)における階層的・ハイパーネットワーク的アプローチは,多くのDSのトレーニングを同時に行うことができる。 本稿では,これらの欠点,最も重要な特徴分割に対する対策の組み合わせを提案し,さらに信頼性のある外挿範囲に有界な閉形式を導出する。
  論文  参考訳（メタデータ） (2026-06-22T07:51:48Z)
• Navigating by Old Maps: The Pitfalls of Static Mechanistic Localization in LLM Post-Training [59.49057547517285]
  教師付き微調整プロセスを通してトランスフォーマー回路の構造変化を系統的に追跡する。 実験結果から,回路はパラメータ更新時に本質的に「自由進化」を示すことが明らかとなった。 この研究は、機械的ローカライゼーションにおける「予見」の必要性を浮き彫りにし、将来の研究の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-05-07T11:59:52Z)
• Koopman Operator Identification of Model Parameter Trajectories for Temporal Domain Generalization (KOMET) [0.16311150636417257]
  我々は,パラメータベクトルの列を非線形力学系の軌道として扱うモデルに依存しない,データ駆動型フレームワークKOMETを提案する。 ウォームスタートシーケンシャルトレーニングプロトコルはパラメータ-軌道の滑らかさを強制し、フーリエ拡張可観測辞書は、多くの実世界の分布ドリフトに固有の周期構造を利用する。 KoMET は平均的な自律走行精度を 0.981 から 1.000 の保留時間ステップで達成している。
  論文  参考訳（メタデータ） (2026-03-27T18:58:45Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。