論文の概要: The Geometry of Manifold Learning: Singular foliations via Deep Learning models
- arxiv url: http://arxiv.org/abs/2610.37370v1
- Date: Tue, 27 Oct 2026 15:02:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.669017
- Title: The Geometry of Manifold Learning: Singular foliations via Deep Learning models
- Title（参考訳）: マニフォールド学習の幾何学:深層学習モデルによる特異な葉
- Abstract要約: データ情報マトリックス(DIM)を用いたトレーニングニューラルネットワークによりデータ空間上に定義された新しい幾何学的構造を探索する。
この新たな幾何学構造は葉状であり、この研究の主な焦点は、ReLU活性化関数の非滑らかなケースを探索することである。
我々の理論的貢献は、ニューラルネットワークが入力空間を非滑らかな設定でどのように整理するかをよりよく理解するための幾何学的枠組みを提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning algorithms have become widely used and successful across a wide range of tasks. A key challenge is determining whether these algorithms truly capture the intrinsic geometry of their training data in order to better understand what they learn from data. In this theoretical work, we explore a new geometric structure defined on the data space by a trained neural network through the Data Information Matrix (DIM), a variation of the Fisher Information Matrix. This new geometric structure is a foliation and the main focus of this work is to explore the non-smooth case of ReLU activation functions, where traditional geometric tools often fail. The foliation is defined through a distribution spanned by the columns of the DIM. We first prove that this distribution is non-smooth in the sense of distributions, rendering the existence of an associated foliation much more complex. To circumvent this issue, we introduce a smoothed version of this distribution that differs from the original only on a set of measure zero. Finally, we prove that this smoothed distribution induces a singular foliation on the data space, which is based on the data the network has been trained with. Our theoretical contributions provide a geometric framework to better understand how neural networks organize their input space in non-smooth settings, bridging differential geometry and deep learning theory.
- Abstract（参考訳）: ディープラーニングアルゴリズムは幅広いタスクで広く使われ、成功している。
重要な課題は、これらのアルゴリズムが、データから何を学ぶかをよりよく理解するために、トレーニングデータの本質的な幾何学を真に捉えているかどうかを決定することである。
本研究では,データ情報行列(Data Information Matrix, DIM)を用いて,訓練ニューラルネットワークを用いてデータ空間上に定義された新しい幾何学的構造を探索する。
この新たな幾何学構造は葉状構造であり、この研究の主な焦点は、伝統的な幾何学ツールがしばしば失敗するReLU活性化関数の非滑らかなケースを探索することである。
葉はDIMの列にまたがる分布を通して定義される。
我々はまず、この分布が分布の意味で非滑らかであることを証明し、関連する葉の存在をより複雑にしている。
この問題を回避するため、測度 0 の集合でのみ原点と異なるこの分布の滑らかなバージョンを導入する。
最後に、このスムーズな分布は、ネットワークがトレーニングしたデータに基づいて、データ空間上の特異な葉を誘導することを示す。
我々の理論的貢献は、ニューラルネットワークが入力空間を非滑らかな設定、ブリッジング微分幾何学、深層学習理論でどのように構成するかをよりよく理解するための幾何学的枠組みを提供する。
関連論文リスト
- PDT: Point Distribution Transformation with Diffusion Models [48.49434688323964]
拡散モデルを用いた点分布変換のための新しいフレームワークである PDT を提案する。
PDTは入力点の雲を様々な形態の出力に変換することに成功した。
論文 参考訳（メタデータ） (2025-07-25T04:20:04Z) - Manifold Learning via Foliations and Knowledge Transfer [0.0]
分類器として訓練された深部ReLUニューラルネットワークを用いたデータ空間上の自然な幾何学的構造を提供する。
そのような葉の特異点が測度ゼロ集合に含まれており、局所正則葉は至る所に存在することを示す。
実験により、データは葉の葉と相関していることが示された。
論文 参考訳（メタデータ） (2024-09-11T16:53:53Z) - Hardness of Learning Neural Networks under the Manifold Hypothesis [3.2635082758250693]
多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。
多様体仮説に基づく学習の難しさについて検討する。
データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
論文 参考訳（メタデータ） (2024-06-03T15:50:32Z) - Deep Learning as Ricci Flow [38.27936710747996]
ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。
分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。
本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
論文 参考訳（メタデータ） (2024-04-22T15:12:47Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Effects of Data Geometry in Early Deep Learning [16.967930721746672]
ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。
ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
論文 参考訳（メタデータ） (2022-12-29T17:32:05Z) - Path Development Network with Finite-dimensional Lie Group Representation [3.9983665898166425]
有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。
提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。
様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
論文 参考訳（メタデータ） (2022-04-02T02:01:00Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。