論文の概要: Diffusion Operator Geometry of Feedforward Representations
- arxiv url: http://arxiv.org/abs/2605.01107v1
- Date: Fri, 01 May 2026 21:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.587867
- Title: Diffusion Operator Geometry of Feedforward Representations
- Title(参考訳): フィードフォワード表現の拡散演算子幾何学
- Authors: Kanishka Reddy,
- Abstract要約: ニューラルネットワークは、幾何学が分離、収縮、一般化に影響を与える学習された表現を通してデータを変換する。
最近の研究は、近傍グラフ上の離散曲率を用いてこの幾何学を研究しており、層間のリッチフローのような挙動を示唆している。
我々はフィードフォワード表現スナップショットのスムーズな演算子-理論的な代替品を開発する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks transform data through learned representations whose geometry affects separation, contraction, and generalization. Recent work studies this geometry using discrete curvature on neighborhood graphs, suggesting Ricci-flow-like behavior across layers. We develop a smooth operator-theoretic alternative for feedforward representation snapshots. Each feature cloud induces a Gaussian-kernel diffusion Markov operator, and transport, spectral, label-boundary, and local-scale observables are derived from this single object via Bakry-Emery $Γ$-calculus. In a balanced Gaussian class-conditional snapshot model with shared covariance, the population operator has closed-form class affinities, leakage, and coarse spectra, all controlled by pairwise regularized Mahalanobis separations $c_\varepsilon^{(a,b)}$. We also prove that the resulting operator observables vary smoothly under feature perturbations, while hard neighborhood-graph diagnostics can change discontinuously. Synthetic experiments validate the closed-form Gaussian bridge, while learned MNIST experiments show that the same operator observables track training, width, and perturbation stability. Together, these results give a stable operator-geometric framework for analyzing feedforward representation geometry.
- Abstract(参考訳): ニューラルネットワークは、幾何学が分離、収縮、一般化に影響を与える学習された表現を通してデータを変換する。
最近の研究は、近傍グラフ上の離散曲率を用いてこの幾何学を研究しており、層間のリッチフローのような挙動を示唆している。
我々はフィードフォワード表現スナップショットのスムーズな演算子-理論的な代替品を開発する。
それぞれの特徴クラウドはガウス-カーネル拡散マルコフ作用素を誘導し、輸送、スペクトル、ラベル境界、局所スケールの可観測物は、Bakry-Emery$$$-calculusを介してこの単一のオブジェクトから導かれる。
共有共分散を持つバランスの取れたガウスのクラス条件スナップショットモデルでは、集団作用素は閉形式のクラス親和性、漏れ、粗いスペクトルを持ち、すべてペアで正規化されたマハラノビス分離$c_\varepsilon^{(a,b)}$で制御される。
また,特徴摂動下では演算子オブザーバブルがスムーズに変化することが証明され,硬い近傍グラフ診断は不連続に変化する可能性がある。
合成実験は閉形式のガウス橋を検証し、MNIST実験は、同じ作用素が軌道のトレーニング、幅、摂動安定性を示すことを示した。
これらの結果は、フィードフォワード表現幾何学を解析するための安定な演算子-幾何学的枠組みを与える。
関連論文リスト
- Gauge-Equivariant Intrinsic Neural Operators for Geometry-Consistent Learning of Elliptic PDE Maps [0.0]
幾何偏微分方程式(PDE)に対するゲージ同変固有ニューラル演算子(GINO)を提案する。
GINOは、幾何依存スペクトルに作用する固有スペクトル乗法を通して楕円解をパラメータ化し、ゲージ-等変非線形性と結合する。
我々は, GINO が低演算子近似誤差, 機械精度ゲージの等値, 構造的計量摂動に対する等剛性, 制約/延長条件下での小さい可換誤差による強いクロスレゾリューション一般化, 正規化された完全/コンパクトな分解タスクにおける構造保存性能を実現することを示す。
論文 参考訳(メタデータ) (2026-03-16T02:10:06Z) - On Interpolation Formulas Describing Neural Network Generalization [8.154667543705687]
連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。
トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。
次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
論文 参考訳(メタデータ) (2026-03-14T10:03:29Z) - Gauge-invariant representation holonomy [1.078600700827543]
深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。
CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。
この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。
論文 参考訳(メタデータ) (2026-01-29T12:51:17Z) - Normalizing Diffusion Kernels with Optimal Transport [4.081238502499229]
ラプラシアンから望ましい性質を継承する滑らかな作用素のクラスを導入する。
この構造により、ラプラシア風の平滑化と不規則データの処理が可能となる。
得られた演算子は熱拡散を近似するが、ラプラシアン自体のスペクトル情報も保持する。
論文 参考訳(メタデータ) (2025-07-08T16:42:09Z) - Generating Graphs via Spectral Diffusion [48.70458395826864]
本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGGSDを提案する。
合成グラフと実世界のグラフの両方に関する広範な実験は、最先端の代替品に対する我々のモデルの強みを実証している。
論文 参考訳(メタデータ) (2024-02-29T09:26:46Z) - Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。
我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。
グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
論文 参考訳(メタデータ) (2023-11-29T12:48:33Z) - Geometric Graph Filters and Neural Networks: Limit Properties and
Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。
これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文 参考訳(メタデータ) (2023-05-29T08:27:17Z) - Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。
ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。
我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
論文 参考訳(メタデータ) (2022-10-15T08:01:08Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳(メタデータ) (2021-10-10T04:37:19Z) - Machine Learning and Variational Algorithms for Lattice Field Theory [1.198562319289569]
格子量子場論の研究において、格子理論を定義するパラメータは連続体物理学にアクセスする臨界性に向けて調整されなければならない。
経路積分の領域に適用される輪郭変形に基づいてモンテカルロ推定器を「変形」する手法を提案する。
我々は,フローベースMCMCが臨界減速を緩和し,オブザーシフォールドが原理的応用のばらつきを指数関数的に低減できることを実証した。
論文 参考訳(メタデータ) (2021-06-03T16:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。