論文の概要: Thoughts on the Consistency between Ricci Flow and Neural Network
Behavior
- arxiv url: http://arxiv.org/abs/2111.08410v1
- Date: Tue, 16 Nov 2021 12:23:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 16:15:47.177723
- Title: Thoughts on the Consistency between Ricci Flow and Neural Network
Behavior
- Title(参考訳): リッチフローとニューラルネットワークの挙動の整合性に関する考察
- Authors: Jun Chen, Tianxin Huang, Wenzhou Chen, Yong Liu
- Abstract要約: 本稿では, 多様体マイクロサージェリーを補助する線形近似ユークリッド計量を提案する。
Ricci-DeTurckフローの下で、線形にほぼ近いユークリッド計量に近い計量の動的安定性と収束を証明した。
- 参考スコア(独自算出の注目度): 11.912554495037362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Ricci flow is a partial differential equation for evolving the metric in
a Riemannian manifold to make it more regular. However, in most cases, the
Ricci flow tends to develop singularities and lead to divergence of the
solution. In this paper, we propose the linearly nearly Euclidean metric to
assist manifold micro-surgery, which means that we prove the dynamical
stability and convergence of the metrics close to the linearly nearly Euclidean
metric under the Ricci-DeTurck flow. In practice, from the information geometry
and mirror descent points of view, we give the steepest descent gradient flow
for neural networks on the linearly nearly Euclidean manifold. During the
training process of the neural network, we observe that its metric will also
regularly converge to the linearly nearly Euclidean metric, which is consistent
with the convergent behavior of linearly nearly Euclidean manifolds under
Ricci-DeTurck flow.
- Abstract(参考訳): リッチフロー(ricci flow)は、リーマン多様体内の計量をより正則に発展させるための偏微分方程式である。
しかし、ほとんどの場合、リッチフローは特異点を生じさせ、解の発散を引き起こす傾向がある。
本稿では,リッチ・ディタック流下の線形近ユークリッド計量に近い距離の動的安定性と収束を証明し,多様体のマイクロサージを支援する線形近ユークリッド計量を提案する。
実際には、情報幾何学とミラー降下点の観点から、線形に近いユークリッド多様体上のニューラルネットワークに対して最も急勾配勾配流を与える。
ニューラルネットワークのトレーニング過程において、その計量はリッチ・デトゥルク流下での線形に近いユークリッド多様体の収束挙動と一致する線形に近いユークリッド計量に連続的に収束することが観察された。
関連論文リスト
- Ricci flow-guided autoencoders in learning time-dependent dynamics [0.0]
時間的非線形力学、特に偏微分方程式(PDE)を学習するための多様体に基づくオートエンコーダ法を提案する。
これは、物理学的インフォームドな設定でリッチフローをシミュレートすることで実現でき、また、リッチフローが経験的に達成されるように、多様体の量と一致させることができる。
本稿では,周期性やランダム性などの望ましい特徴を包含するPDEを用いた数値実験について述べる。
論文 参考訳(メタデータ) (2024-01-26T01:36:48Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - The Fisher-Rao geometry of CES distributions [50.50897590847961]
Fisher-Rao情報幾何学は、ツールを微分幾何学から活用することができる。
楕円分布の枠組みにおけるこれらの幾何学的ツールの実用的利用について述べる。
論文 参考訳(メタデータ) (2023-10-02T09:23:32Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Tangent Bundle Convolutional Learning: from Manifolds to Cellular
Sheaves and Back [114.01902073621577]
この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。
タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。
提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
論文 参考訳(メタデータ) (2023-03-20T17:57:15Z) - Scalable Stochastic Gradient Riemannian Langevin Dynamics in
Non-Diagonal Metrics [4.239829789304117]
本稿では,2つの非対角的指標について述べる。
完全接続型ニューラルネットワーク(NN)と疎結合型プリエントと、相関したプリエントを持つ畳み込みNNでは、これらのメトリクスを用いることで改善が期待できることを示す。
論文 参考訳(メタデータ) (2023-03-09T08:20:28Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳(メタデータ) (2023-02-07T10:51:53Z) - A physics-informed search for metric solutions to Ricci flow, their
embeddings, and visualisation [0.0]
損失関数にPDEを埋め込んだニューラルネットワークを関数近似器として利用する。
一般的な方法を開発し、実際のトーラスに適用する。
標準PDEソルバを用いて得られたスカラー曲率の時間変化を比較して, 解の有効性を検証した。
論文 参考訳(メタデータ) (2022-11-30T08:17:06Z) - Dynamically Stable Poincar\'e Embeddings for Neural Manifolds [10.76554740227876]
初期計量がポインカーボール上の双曲計量から逸脱する$L2$-norm摂動を持つなら、そのような計量のスケールされたリッチ・デターク流は滑らかで指数関数的に双曲計量に収束する。
具体的には、リッチフローの役割は、安定なポアンカーの球に自然に進化し、ユークリッド空間に写像されることである。
論文 参考訳(メタデータ) (2021-12-21T13:09:08Z) - A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。
我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
論文 参考訳(メタデータ) (2021-05-06T17:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。