論文の概要: Representations Have Trajectories: Characterizing Temporal Representation Dynamics in Neural Networks
- arxiv url: http://arxiv.org/abs/2610.24571v1
- Date: Sat, 17 Oct 2026 09:01:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 17:41:24.456741
- Title: Representations Have Trajectories: Characterizing Temporal Representation Dynamics in Neural Networks
- Title（参考訳）: 表現には軌道がある:ニューラルネットワークにおける時間的表現のダイナミクスを特徴付ける
- Abstract要約: 最近の研究によると、ディープニューラルネットワークは暗黙の低ランクの単純さバイアスを示す。
表現幾何学は収束のみでなく最適化を通してどのように進化するか?
ニューラルネットワークは、永続的な高位、崩壊と回復、そして持続的な低位という3つの連続した幾何学的軌跡に従う。
- 参考スコア（独自算出の注目度）: 4.497600020881818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that deep neural networks exhibit an implicit low-rank simplicity bias. In this paper, we investigate the questions that naturally arise from this observation. What are the temporal consequences of low-rank simplicity bias during optimization? How does representation geometry evolve throughout optimization rather than only at convergence? Do different neural architectures exhibit distinct geometric optimization behaviors? To answer these questions, we conduct a large-scale empirical study tracking representational geometry throughout training. We find that neural networks follow three recurring geometric trajectories: persistent high-rank, collapse-and-recovery, and persistent low-rank. We further identify Destructive Representation Collapse (DRC) as a pathological regime in which representations collapse to rank-one and fail to recover, leading to a sustained loss of representational capacity. While collapse-and-recovery is consistently associated with successful optimization in controlled settings, experiments on real-world models show that the relationship between geometric trajectories and optimization outcomes is configuration dependent. Overall, our findings suggest that representation geometry evolves dynamically during training and provide a new perspective on how deep neural networks learn.
- Abstract（参考訳）: 最近の研究によると、ディープニューラルネットワークは暗黙の低ランクの単純さバイアスを示す。
本稿では,この観測から自然に生じる疑問について考察する。
最適化中の低ランクの単純さバイアスの時間的影響は?
表現幾何学は収束のみでなく最適化を通してどのように進化するか?
異なるニューラルネットワークアーキテクチャは、異なる幾何学的最適化挙動を示すか?
これらの疑問に答えるために、我々は訓練を通して表現幾何学を追跡する大規模な実証的研究を行っている。
ニューラルネットワークは、永続的な高位、崩壊と回復、そして持続的な低位という3つの連続した幾何学的軌跡に従う。
Destructive Representation Collapse (DRC) は, 表現がランク1に崩壊し, 回復に失敗し, 表現能力の低下が持続する病態体系である。
崩壊と回復は、制御された設定における最適化の成功と一貫して関連しているが、実世界のモデルにおける実験は、幾何学的軌跡と最適化結果の関係が構成に依存していることを示している。
全体として、我々の研究結果は、表現幾何学はトレーニング中に動的に進化し、ディープニューラルネットワークがどのように学習するかの新しい視点を提供することを示唆している。
関連論文リスト
- Temporal Geometry of Deep Networks: Hyperbolic Representations of Training Dynamics for Intrinsic Explainability [0.0]
本稿では,非ユークリッド空間においてグラフとその学習力学をどのように表現し,研究するかを検討する。
我々は、時間とともに重み付けされたトポロジ的自己組織化の幾何学的進化を捉えることを目的としている。
基礎となる神経パラメータの動的双曲表現を得るための幾何学的・時間的グラフに基づくメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-10-02T08:32:13Z) - Emergent Generalization by Representation Learning in Artificial Neural Networks [0.0]
一般化には,再帰的ニューラルネットワークに低次元表現を学習させる明示的な情報ボトルネックが不可欠であることを示す。
因果発生に関する情報理論的尺度を用いて,この表現の力学を記憶から一般化への遷移を通して特徴づける。
この軌道はタスクの複雑さとともにスケールし、創発的構造の大きさは一般化性能を確実に予測する。
論文 参考訳（メタデータ） (2026-07-11T18:25:23Z) - Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models [0.9188951403098383]
我々は、トップダウンフィードバックプロジェクションの有無のイメージ分類について、畳み込みリカレントニューラルネットワーク(ConvRNN)を訓練した。
トップダウンフィードバックを持つConvRNNは、ノイズの摂動や敵の攻撃に対して、顕著な速度精度のトレードオフと堅牢性を示した。
論文 参考訳（メタデータ） (2025-08-09T22:51:50Z) - KPFlow: An Operator Perspective on Dynamic Collapse Under Gradient Descent Training of Recurrent Networks [9.512147747894026]
勾配流を2つの作用素を含む積に分解する方法を示す。
それらの相互作用がGDの下での低次元潜在力学にどのように影響するかを示す。
マルチタスクトレーニングでは,各サブタスクの目的がどのように一致しているかを演算子を用いて測定できることが示される。
論文 参考訳（メタデータ） (2025-07-08T20:33:15Z) - A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。
最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文 参考訳（メタデータ） (2024-04-09T08:11:46Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-20T22:10:40Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳（メタデータ） (2020-05-07T15:57:25Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。