論文の概要: Dynamically Stable Poincar\'e Embeddings for Neural Manifolds

• arxiv url: http://arxiv.org/abs/2112.11172v1
• Date: Tue, 21 Dec 2021 13:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 15:33:16.346240
• Title: Dynamically Stable Poincar\'e Embeddings for Neural Manifolds
• Title（参考訳）: 神経多様体に対する動的安定な poincar\e 埋め込み
• Authors: Jun Chen, Yuang Liu, Xiangrui Zhao, Yong Liu
• Abstract要約: 初期計量がポインカーボール上の双曲計量から逸脱する$L2$-norm摂動を持つなら、そのような計量のスケールされたリッチ・デターク流は滑らかで指数関数的に双曲計量に収束する。 具体的には、リッチフローの役割は、安定なポアンカーの球に自然に進化し、ユークリッド空間に写像されることである。
• 参考スコア（独自算出の注目度）: 10.76554740227876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a Riemannian manifold, the Ricci flow is a partial differential equation for evolving the metric to become more regular. We hope that topological structures from such metrics may be used to assist in the tasks of machine learning. However, this part of the work is still missing. In this paper, we bridge this gap between the Ricci flow and deep neural networks by dynamically stable Poincar\'e embeddings for neural manifolds. As a result, we prove that, if initial metrics have an $L^2$-norm perturbation which deviates from the Hyperbolic metric on the Poincar\'e ball, the scaled Ricci-DeTurck flow of such metrics smoothly and exponentially converges to the Hyperbolic metric. Specifically, the role of the Ricci flow is to serve as naturally evolving to the stable Poincar\'e ball that will then be mapped back to the Euclidean space. For such dynamically stable neural manifolds under the Ricci flow, the convergence of neural networks embedded with such manifolds is not susceptible to perturbations. And we show that such Ricci flow assisted neural networks outperform with their all Euclidean versions on image classification tasks (CIFAR datasets).
• Abstract（参考訳）: リーマン多様体において、リッチフローは計量をより正則に進化させるための偏微分方程式である。 このようなメトリクスのトポロジ的構造が機械学習のタスクに役立てられることを期待している。 しかし、この部分はまだ欠落している。 本稿では,神経多様体に対する動的に安定なpoincar\e埋め込みにより,リッチフローとディープニューラルネットワークとのギャップを橋渡しする。 結果として、初期計量がポアンカーの球上の双曲計量から逸脱する$L^2$-norm摂動を持つなら、そのような計量のスケールされたリッチ・デトゥルク流は滑らかで指数関数的に双曲計量に収束する。 特に、リッチフローの役割は、安定なポアンカル(英語版)(poincar\'e)球へと自然に進化し、ユークリッド空間に写像される。 リッチフロー下のそのような動的に安定なニューラルネットワークの場合、そのような多様体に埋め込まれたニューラルネットワークの収束は摂動に影響を受けない。 このようなリッチフロー支援ニューラルネットワークは,画像分類タスク(CIFARデータセット)のユークリッドバージョンよりも優れていることを示す。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Metric Flows with Neural Networks [0.0]
  我々は、ニューラルネットワーク勾配降下によって誘導されるリーマン計量の空間における流れの理論を開発する。 これは部分的には、Calabi-Yauメトリクスをニューラルネットワークで近似する進歩によるものである。 有限幅におけるよく学習された数値測定値が,特徴学習と関連するNTKの進化を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-30T18:00:01Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics [3.8811062755861956]
  本稿では,2つの非対角的指標について述べる。 完全接続型ニューラルネットワーク(NN)と疎結合型プリエントと、相関したプリエントを持つ畳み込みNNでは、これらのメトリクスを用いることで改善が期待できることを示す。
  論文  参考訳（メタデータ） (2023-03-09T08:20:28Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• A physics-informed search for metric solutions to Ricci flow, their embeddings, and visualisation [0.0]
  損失関数にPDEを埋め込んだニューラルネットワークを関数近似器として利用する。 一般的な方法を開発し、実際のトーラスに適用する。 標準PDEソルバを用いて得られたスカラー曲率の時間変化を比較して, 解の有効性を検証した。
  論文  参考訳（メタデータ） (2022-11-30T08:17:06Z)
• Thoughts on the Consistency between Ricci Flow and Neural Network Behavior [11.912554495037362]
  本稿では, 多様体マイクロサージェリーを補助する線形近似ユークリッド計量を提案する。 Ricci-DeTurckフローの下で、線形にほぼ近いユークリッド計量に近い計量の動的安定性と収束を証明した。
  論文  参考訳（メタデータ） (2021-11-16T12:23:09Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。