論文の概要: Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model
- arxiv url: http://arxiv.org/abs/2607.10285v1
- Date: Sat, 11 Jul 2026 12:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.380392
- Title: Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model
- Title（参考訳）: オートエンコーダの学習力学の解釈:過渡スケーリングとイジングモデルの新たな概念
- Abstract要約: イジングモデルからの顕微鏡的スピン構成で訓練された教師なしオートエンコーダは、マクロ的、理論関連変数を学習する。
複数の空間スケールでの学習を定量化し、2つの異なる力学状態を明らかにする。
学習のダイナミックな視点は、内在的特性が強制的変化の影響を表わすことによって確立される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study how unsupervised autoencoders trained on microscopic spin configurations from the Ising model learn macroscopic, theory-relevant variables underlying the data-generating process. Without embedding domain knowledge, we mimic a typical discovery setting: We quantify learning across multiple spatial (coarse-graining) scales and reveal two distinct dynamical regimes controlled by main hyperparameters (model depth, width, and learning rate) -- a magnetization-dominated regime and an energy-dominated regime characterized by trade-offs in their representation quality. The first regime is a transitory state exhibiting dynamical scaling and fluctuations that follow an ordering-to-scale; the second gradually shifts resolution towards smaller scales relevant for the energy representation. Deep models trained at moderate and fast rates become arrested before reaching these regimes. With a novel analysis of recursive-dynamic trajectories, we demonstrate that prediction errors induce flow fields that produce a common trajectory topology across all representation spaces. A dynamical viewpoint of learning is established in which intrinsic properties expose the effects of forced changes in representation during training. We utilize the intuition that learning operates as a process driven far from equilibrium by fluctuations from the training data and optimizer to provide an interpretive basis grounded in both the physical world and the machine models that represent it.
- Abstract（参考訳）: 我々は、Isingモデルから顕微鏡スピン構成を訓練した教師なしオートエンコーダが、データ生成プロセスの根底にあるマクロ的、理論関連変数を学習する方法について検討した。
我々は、複数の空間的(粗粒度)スケールで学習を定量化し、主要なハイパーパラメータ(モデル深度、幅、学習速度)によって制御される2つの異なる動的レジームを明らかにする -- 磁化支配型レジームと、その表現品質のトレードオフによって特徴づけられるエネルギー支配型レジーム。
第1の状態は、動的スケーリングと変動を示す推移状態であり、第2の状態は、エネルギー表現に関連するより小さなスケールに分解能を徐々にシフトさせる。
緩やかで速い速度で訓練された深層モデルは、これらの体制に到達する前に逮捕される。
再帰的-動的軌道の新たな解析により、予測誤差はすべての表現空間に共通な軌道トポロジーを生成する流れ場を誘導することを示した。
学習のダイナミックな視点は、本質的な特性が訓練中に強制的変化が表現に与える影響を明らかにすることによって確立される。
トレーニングデータとオプティマイザからの揺らぎによって、学習が平衡から遠く離れたプロセスとして動作するという直感を利用して、物理世界とそれを表す機械モデルの両方に基礎を置く解釈的基盤を提供する。
関連論文リスト
- Generalizing Dynamics Modeling More Easily from Representation Perspective [17.958624542632947]
我々はPDEDER(Generalized Pre-trained Dynamics EncoDER)を行う。
PDEDERは、元の状態の観測結果をより容易に取得できる潜在空間に埋め込む。
ドメイン内設定とクロスドメイン設定の両方で,PDEDERを短時間・長期の予測によって評価する。
論文 参考訳（メタデータ） (2026-03-24T00:15:47Z) - Transformers for dynamical systems learn transfer operators in-context [4.211463778317431]
インコンテキスト学習は、物理システムにおける学習と適応の従来の理解に挑戦する。
1つの力学系を予測するために小さな2層単頭変圧器を訓練し、再学習せずに異なる力学系を予測する能力を評価する。
注意に基づくモデルがコンテキスト内で伝達演算予測戦略を適用していることが判明した。
論文 参考訳（メタデータ） (2026-02-21T01:03:15Z) - Towards Physically Interpretable World Models: Meaningful Weakly Supervised Representations for Visual Trajectory Prediction [0.1534667887016089]
本稿では,学習した潜在表現と実世界の物理量とを一致させる新しいアーキテクチャを提案する。
3つのケーススタディは,本手法が物理的解釈可能性および正確な状態予測を実現することを実証している。
論文 参考訳（メタデータ） (2024-12-17T12:51:24Z) - Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis [97.54180451650122]
本研究では,2つの単語の共起を認識するタスクにおいて,浅層変圧器を訓練するダイナミクスについて検討する。
我々は3つの注意行列と線形層を同時に学習する勾配流れのダイナミクスを解析した。
本研究では, 傾斜流の新たな特性として, 勾配のテクトリアルバランスを証明し, 異なる試料の損失値をほぼ同じ速度で減少させ, さらに, ほぼ最小限のトレーニング損失の証明を容易にする。
論文 参考訳（メタデータ） (2024-10-12T17:50:58Z) - Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。
動作方法や期待されるダイナミクスについてはほとんど分かっていない。
非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
論文 参考訳（メタデータ） (2024-06-11T13:29:34Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳（メタデータ） (2023-08-18T13:20:08Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-06T20:43:37Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳（メタデータ） (2022-06-07T13:51:35Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - Bridging Physics-based and Data-driven modeling for Learning Dynamical
Systems [36.04381259949935]
モデルパラメータを推定するために自動微分を利用した物理モデル学習をAutoODEとして定式化する。
本手法は,7日間の先進的な予測における平均絶対誤差を57.4%削減する。
論文 参考訳（メタデータ） (2020-11-20T20:16:10Z) - Context-aware Dynamics Model for Generalization in Model-Based
Reinforcement Learning [124.9856253431878]
グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。
本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。
提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
論文 参考訳（メタデータ） (2020-05-14T08:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。