論文の概要: Temporal Geometry of Deep Networks: Hyperbolic Representations of Training Dynamics for Intrinsic Explainability
- arxiv url: http://arxiv.org/abs/2610.03000v1
- Date: Fri, 02 Oct 2026 08:32:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.284836
- Title: Temporal Geometry of Deep Networks: Hyperbolic Representations of Training Dynamics for Intrinsic Explainability
- Title（参考訳）: 深部ネットワークの時間幾何学:内在的説明可能性のためのトレーニングダイナミクスの双曲表現
- Abstract要約: 本稿では,非ユークリッド空間においてグラフとその学習力学をどのように表現し,研究するかを検討する。
我々は、時間とともに重み付けされたトポロジ的自己組織化の幾何学的進化を捉えることを目的としている。
基礎となる神経パラメータの動的双曲表現を得るための幾何学的・時間的グラフに基づくメタラーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intrinsic explainability remains a challenging problem, particularly in contexts where multilayer perceptrons (MLPs) require dynamic re-training within an optimization environment. This paper investigates how MLPs and their training dynamics can be represented and studied in non-Euclidean spaces; our representation features the Poincaré model of hyperbolic geometry. We aim to capture the geometric evolution of their weighted topology and self-organization over time. Instead of restricting the analysis to single checkpoints---as per established measure-based explainability methods---we construct temporal \textit{parameter graphs}, i.e., snapshots over time $T$ steps of the optimization/training process for MLPs. This reflects the view that neural networks encode information not only in their weights but also in the trajectory traced during training. Drawing on the idea that many complex networks admit embeddings in hidden metric spaces where distances correspond to connection likelihood, we present a geometric and temporal graph-based metalearning framework for obtaining dynamic hyperbolic representations of the underlying neural parameter graphs. Our model embeds temporal parameter graphs in the Poincaré model ball, and learns from them while maintaining equivariance to within-snapshot neuron permutations and invariance to permutations of past snapshots. In doing so, the approach preserves functional equivalence over time and recovers the latent evolving geometry of the network. Experiments on regression and classification tasks with trained MLPs show strong meta-network performance, accompanied by hyperbolic temporal representations. This reveals how the network structure emerges over time under specific training environments, thus providing insights into the network's self-organization.
- Abstract（参考訳）: 特に、マルチ層パーセプトロン(MLP)が最適化環境で動的再学習を必要とする状況では、本質的な説明責任は難しい問題である。
本稿では, 双曲幾何学のポアンカレモデルを特徴とする, 非ユークリッド空間において, MLPとその訓練力学をどのように表現し, 研究することができるかを検討する。
重み付きトポロジーと自己組織化の幾何学的進化を時間とともに捉えることを目的としている。
分析を単一のチェックポイントに制限するのではなく、---確立された測度ベースの説明可能性メソッドに従って--- 時間経過に伴うスナップショット、すなわち、MPPの最適化/トレーニングプロセスのステップ$T$で構築する。
これは、ニューラルネットワークがウェイトだけでなく、トレーニング中に追跡された軌跡にも情報をエンコードしているという見方を反映している。
距離が接続可能性に対応する隠れた距離空間への埋め込みを、多くの複雑なネットワークが認めているという考えに基づいて、基礎となる神経パラメータグラフの動的双曲表現を得るための幾何学的および時間的グラフベースのメタラーニングフレームワークを提案する。
我々のモデルは、ポアンカレモデルボールに時間パラメータグラフを埋め込み、それから学習し、スナップショット内ニューロンの置換と過去のスナップショットの置換との不変性を維持しながら、それらから学習する。
このアプローチは時間とともに機能的等価性を保ち、ネットワークの潜在進化幾何学を回復する。
訓練されたMLPを用いた回帰および分類タスクの実験は、双曲的時間表現を伴う強力なメタネットワーク性能を示す。
これにより、特定のトレーニング環境下でネットワーク構造が時間とともに出現し、ネットワークの自己組織化に関する洞察を提供する。
関連論文リスト
- Scalar Representations of Neural Network Training Dynamics [1.9583341377413463]
人工ニューラルネットワークのトレーニングは、高次元のロスランドスケープを通して進化する軌道と見なすことができる。
このようなスカラー埋め込みがニューラルネットワークのトレーニング力学の低次元表現に意味があるかどうかを考察する。
論文 参考訳（メタデータ） (2026-06-29T14:40:03Z) - SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces [91.71563221166417]
入射神経表現は幾何学的モデリングには強力であるが、その実用性は高い計算コストによって制限されることが多い。
本稿では,空間適応型ネットワーク深度を用いた効率的なニューラル暗黙的幾何表現フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T14:14:17Z) - Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models [10.7573063848449]
大きな言語モデル(LLM)が人間の言語の神経表現と計算とどのように一致しているかは、認知科学における中心的な問題である。
階層を安定な低複雑クラスタと高複雑クラスタに自己組織化する幾何学的モジュラー化を同定した。
低複雑さモジュールはエントロピーと曲率の減少を特徴とし、一貫して人間の言語ネットワーク活動を予測する。
論文 参考訳（メタデータ） (2026-02-07T13:26:21Z) - RNNs perform task computations by dynamically warping neural representations [2.2917707112773598]
本稿では、リカレントニューラルネットワーク(RNN)がタスク変数の表現を動的にワープすることで計算を行うことを示す。
RNNの時間変化幾何学を特徴付けることにより,動的ワープが計算の基本的な特徴であることを示す。
論文 参考訳（メタデータ） (2025-12-03T23:01:43Z) - KPFlow: An Operator Perspective on Dynamic Collapse Under Gradient Descent Training of Recurrent Networks [9.512147747894026]
勾配流を2つの作用素を含む積に分解する方法を示す。
それらの相互作用がGDの下での低次元潜在力学にどのように影響するかを示す。
マルチタスクトレーニングでは,各サブタスクの目的がどのように一致しているかを演算子を用いて測定できることが示される。
論文 参考訳（メタデータ） (2025-07-08T20:33:15Z) - Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。
学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。
各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-09-26T16:22:08Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-15T08:17:18Z) - Piecewise-Velocity Model for Learning Continuous-time Dynamic Node
Representations [0.0]
連続時間動的ネットワーク表現のためのPiecewise-Veable Model (PiVeM)。
超低次元空間において、PiVeMはネットワーク構造と力学をうまく表現できることを示す。
リンク予測などの下流タスクでは、関連する最先端メソッドよりも優れています。
論文 参考訳（メタデータ） (2022-12-23T13:57:56Z) - Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。
特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
論文 参考訳（メタデータ） (2020-06-08T17:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。