論文の概要: Mode Dynamics: A Framework for Neural Network Learning

• arxiv url: http://arxiv.org/abs/2610.40143v1
• Date: Thu, 29 Oct 2026 14:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.517331
• Title: Mode Dynamics: A Framework for Neural Network Learning
• Title（参考訳）: Mode Dynamics: ニューラルネットワーク学習のためのフレームワーク
• Abstract要約: ニューラルネットワーク学習中のパラメータの協調動作とモデル出力の変化を結合するフレームワークであるMode Dynamicsを紹介する。 我々は、その更新を集合モードに分解し、各モードを状態依存出力効果にマッピングする。 先行モードの小さなセットは動作を再構成し、誘導効果はトレーニングパスに依存し、モーダル複雑性はタスクやデータによって異なることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Mode Dynamics, a framework that connects coordinated parameter motion during neural network learning to changes in model outputs. Starting from a recorded parameter trajectory, we decompose its updates into collective modes and map each mode to its state-dependent output effect. The framework organizes this link through three mechanisms. Decomposition identifies collective modes in parameter motion and their time-varying amplitudes. Reconstruction tests whether the effects induced by those modes recover local and accumulated output change. Concentration quantifies how behavioral contribution is distributed across modes. Controlled scalar regression and next-token experiments directly test these mechanisms. They show that small sets of leading modes reconstruct behavior, induced effects depend on the training path, and modal complexity varies with task and data. We then evaluate the framework on held-out image and language-model outputs using CIFAR-100 autoencoding and a public Pythia-70M pretraining trajectory. Across these settings, the results connect compact modal subspaces of recorded parameter motion to evolving behavior.
• Abstract（参考訳）: ニューラルネットワーク学習中のパラメータの協調動作とモデル出力の変化を結合するフレームワークであるMode Dynamicsを紹介する。 記録されたパラメータ軌跡から、その更新を集合モードに分解し、各モードを状態依存出力効果にマッピングする。 このフレームワークは3つのメカニズムを通じてこのリンクを編成する。 分解はパラメータ運動の集合モードと時間変化振幅を識別する。 これらのモードによって引き起こされる影響が局所的および累積的な出力変化を回復するかどうかを再現試験により検証した。 集中は、モード間での行動的貢献の分布を定量化する。 制御されたスカラー回帰と次点の実験はこれらのメカニズムを直接テストする。 彼らは、小さなリードモードの集合が振る舞いを再構成し、誘導効果はトレーニングパスに依存し、モーダル複雑性はタスクとデータによって異なることを示した。 次に、CIFAR-100オートエンコーディングとPythia-70M事前学習軌道を用いて、保留画像と言語モデル出力のフレームワークを評価する。 これらの設定全体で、結果は記録されたパラメータの動きのコンパクトなモーダル部分空間と進化する振る舞いを結びつける。

関連論文リスト

• Perceive, Route and Modulate: Dynamic Pattern Recalibration for Time Series Forecasting [68.53528085362642]
  現在の深い予測モデルは、すべての時間トークンに一様に適用される固定重み行列に依存している。 トークンレベルの再校正によってこれを解決するバックボーンに依存しないメカニズムであるDynamic Pattern Recalibrationを導入する。 DPRNetは12ベンチマークで競合性能を達成し、マクロパラメータスケーリングに対する動的リカバリを検証する。
  論文  参考訳（メタデータ） (2026-05-07T14:12:47Z)
• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Enhancing Neural Training via a Correlated Dynamics Model [2.9302545029880394]
  相関モード分解(CMD)は、パラメータ空間をグループにクラスタリングし、エポック間の同期動作を表示するアルゴリズムである。 トレーニングと同時に動作するように設計された効率的なCMDバリアントを導入する。 実験の結果,CMD は画像分類のコンパクトなモデル化のための最先端手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T18:22:49Z)
• Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes [24.723536390322582]
  テンソル分解は マルチウェイデータ解析の 重要なツールです 動的EMbedIngs fOr Dynamic Algorithm dEcomposition (DEMOTE)を提案する。 シミュレーション研究と実世界の応用の両方において,本手法の利点を示す。
  論文  参考訳（メタデータ） (2023-10-30T15:49:45Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening Simulations [58.720142291102135]
  動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。 本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-28T22:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。