論文の概要: Neural Feature Geometry Evolves as Discrete Ricci Flow

• arxiv url: http://arxiv.org/abs/2509.22362v1
• Date: Fri, 26 Sep 2025 13:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.475917
• Title: Neural Feature Geometry Evolves as Discrete Ricci Flow
• Title（参考訳）: 離散リッチ流として発達する神経特徴幾何学
• Authors: Moritz Hehl, Max von Renesse, Melanie Weber,
• Abstract要約: 深層ニューラルネットワークは入力データ多様体の複雑な幾何学的変換を通じて特徴表現を学習する。 離散幾何学のレンズによる神経特徴幾何学について検討する。 フィードフォワードニューラルネットワークにおいて,非線形アクティベーションが特徴幾何を形成する上で重要な役割を担っていることを示す。
• 参考スコア（独自算出の注目度）: 5.645823801022895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks learn feature representations via complex geometric transformations of the input data manifold. Despite the models' empirical success across domains, our understanding of neural feature representations is still incomplete. In this work we investigate neural feature geometry through the lens of discrete geometry. Since the input data manifold is typically unobserved, we approximate it using geometric graphs that encode local similarity structure. We provide theoretical results on the evolution of these graphs during training, showing that nonlinear activations play a crucial role in shaping feature geometry in feedforward neural networks. Moreover, we discover that the geometric transformations resemble a discrete Ricci flow on these graphs, suggesting that neural feature geometry evolves analogous to Ricci flow. This connection is supported by experiments on over 20,000 feedforward neural networks trained on binary classification tasks across both synthetic and real-world datasets. We observe that the emergence of class separability corresponds to the emergence of community structure in the associated graph representations, which is known to relate to discrete Ricci flow dynamics. Building on these insights, we introduce a novel framework for locally evaluating geometric transformations through comparison with discrete Ricci flow dynamics. Our results suggest practical design principles, including a geometry-informed early-stopping heuristic and a criterion for selecting network depth.
• Abstract（参考訳）: 深層ニューラルネットワークは入力データ多様体の複雑な幾何学的変換を通じて特徴表現を学習する。 モデルがドメイン間で経験的な成功をおさめたにもかかわらず、ニューラル特徴表現に対する私たちの理解はいまだに不完全である。 本研究では、離散幾何学のレンズによる神経特徴幾何について検討する。 入力データ多様体は一般に観測されないため、局所類似構造を符号化する幾何グラフを用いて近似する。 トレーニング中のこれらのグラフの進化に関する理論的結果を提供し、フィードフォワードニューラルネットワークにおける特徴幾何の形成において非線形活性化が重要な役割を担っていることを示す。 さらに、これらのグラフ上の離散リッチフローと幾何変換が類似していることが分かり、ニューラル特徴幾何学がリッチフローと類似して進化することが示唆された。 この接続は、合成データセットと実世界のデータセットの両方にわたるバイナリ分類タスクでトレーニングされた20,000以上のフィードフォワードニューラルネットワークの実験によってサポートされている。 クラス分離可能性の出現は,個別のリッチフローのダイナミックスに関連することが知られている,関連するグラフ表現におけるコミュニティ構造の出現に対応している。 これらの知見に基づいて、離散リッチフロー力学との比較により、幾何学的変換を局所的に評価するための新しい枠組みを導入する。 この結果から,幾何インフォームドアーリーストッピングヒューリスティックやネットワーク深さの選択基準など,実用的な設計原則が示唆された。

関連論文リスト

• Adaptive Riemannian Graph Neural Networks [29.859977834688625]
  グラフ上の連続および異方性計量テンソル場を学習する新しいフレームワークを導入する。 これにより各ノードがその最適な局所幾何学を決定でき、モデルがグラフの構造的景観に流動的に適応できる。 本手法は, ヘテロ親和性ベンチマークとホモ親和性ベンチマークの双方において, 優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-04T16:55:02Z)
• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
  本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。 これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-29T08:27:17Z)
• Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
  そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。 シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。 これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
  論文  参考訳（メタデータ） (2023-04-06T21:11:04Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。