論文の概要: Metric Flows with Neural Networks

• arxiv url: http://arxiv.org/abs/2310.19870v2
• Date: Fri, 18 Oct 2024 20:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:10:50.438932
• Title: Metric Flows with Neural Networks
• Title（参考訳）: ニューラルネットワークを用いた計量流
• Authors: James Halverson, Fabian Ruehle,
• Abstract要約: 我々は、ニューラルネットワーク勾配降下によって誘導されるリーマン計量の空間における流れの理論を開発する。 これは部分的には、Calabi-Yauメトリクスをニューラルネットワークで近似する進歩によるものである。 有限幅におけるよく学習された数値測定値が,特徴学習と関連するNTKの進化を示すことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We develop a general theory of flows in the space of Riemannian metrics induced by neural network gradient descent. This is motivated in part by recent advances in approximating Calabi-Yau metrics with neural networks and is enabled by recent advances in understanding flows in the space of neural networks. We derive the corresponding metric flow equations, which are governed by a metric neural tangent kernel, a complicated, non-local object that evolves in time. However, many architectures admit an infinite-width limit in which the kernel becomes fixed and the dynamics simplify. Additional assumptions can induce locality in the flow, which allows for the realization of Perelman's formulation of Ricci flow that was used to resolve the 3d Poincar\'e conjecture. We demonstrate that such fixed kernel regimes lead to poor learning of numerical Calabi-Yau metrics, as is expected since the associated neural networks do not learn features. Conversely, we demonstrate that well-learned numerical metrics at finite-width exhibit an evolving metric-NTK, associated with feature learning. Our theory of neural network metric flows therefore explains why neural networks are better at learning Calabi-Yau metrics than fixed kernel methods, such as the Ricci flow.
• Abstract（参考訳）: ニューラルネットワーク勾配降下によって誘導されるリーマン計量の空間における流れの一般理論を開発する。 これは部分的には、Calabi-Yauメトリクスをニューラルネットワークで近似する最近の進歩によるものであり、ニューラルネットワークの空間における理解フローの最近の進歩によって実現されている。 我々は、時間とともに進化する複雑な非局所物体である計量ニューラル・タンジェント・カーネルによって支配される対応する計量フロー方程式を導出する。 しかし、多くのアーキテクチャでは、カーネルが固定され、ダイナミクスが単純化される無限幅の制限がある。 追加の仮定は流れの局所性を誘導し、3d Poincar\'e予想を解くのに使われたリッチフローのペレルマンの定式化の実現を可能にする。 このような固定化されたカーネル機構は、関連するニューラルネットワークが特徴を学ばないので期待できるように、数値的なカラビ・ヤウ測度を学習しにくいことを実証する。 逆に、有限幅におけるよく学習された数値メトリクスは、特徴学習と関連する、進化するメートル法NTKを示すことを示した。 したがって、ニューラルネットワークのメトリックフローの理論は、Ricciフローのような固定されたカーネルメソッドよりも、Calabi-Yauメトリックの学習が優れている理由を説明している。

関連論文リスト

• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Dynamically Stable Poincar\'e Embeddings for Neural Manifolds [10.76554740227876]
  初期計量がポインカーボール上の双曲計量から逸脱する$L2$-norm摂動を持つなら、そのような計量のスケールされたリッチ・デターク流は滑らかで指数関数的に双曲計量に収束する。 具体的には、リッチフローの役割は、安定なポアンカーの球に自然に進化し、ユークリッド空間に写像されることである。
  論文  参考訳（メタデータ） (2021-12-21T13:09:08Z)
• Learn Like The Pro: Norms from Theory to Size Neural Computation [3.848947060636351]
  非線形性を持つ力学系が、それらをエミュレートしようとするニューラル系の設計にどのように影響するかを考察する。 本稿では,学習性尺度を提案し,その関連する特徴を学習力学の近平衡挙動に量子化する。 連続的あるいは離散的な時間ダイナミクスを模倣する乗法ノードを持つニューラルネットワークのクラスの正確なサイズを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-21T20:58:27Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Convergence dynamics of Generative Adversarial Networks: the dual metric flows [0.0]
  機械学習におけるGenerative Adversarial Networksの収束性について検討する。 学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
  論文  参考訳（メタデータ） (2020-12-18T18:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。