論文の概要: Metric Flows with Neural Networks

• arxiv url: http://arxiv.org/abs/2310.19870v1
• Date: Mon, 30 Oct 2023 18:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 18:14:01.074330
• Title: Metric Flows with Neural Networks
• Title（参考訳）: ニューラルネットワークを用いた計量流
• Authors: James Halverson and Fabian Ruehle
• Abstract要約: ニューラルネットワークの勾配勾配による流れの理論を考案する。 これは部分的には、Calabi-Yauメトリクスをニューラルネットワークで近似する進歩によるものである。 本稿では,これらのアイデアを,特徴学習の重要性に関する議論を含む数値的なカラビ・ヤウ指標に適用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a theory of flows in the space of Riemannian metrics induced by neural network gradient descent. This is motivated in part by recent advances in approximating Calabi-Yau metrics with neural networks and is enabled by recent advances in understanding flows in the space of neural networks. We derive the corresponding metric flow equations, which are governed by a metric neural tangent kernel, a complicated, non-local object that evolves in time. However, many architectures admit an infinite-width limit in which the kernel becomes fixed and the dynamics simplify. Additional assumptions can induce locality in the flow, which allows for the realization of Perelman's formulation of Ricci flow that was used to resolve the 3d Poincar\'e conjecture. We apply these ideas to numerical Calabi-Yau metrics, including a discussion on the importance of feature learning.
• Abstract（参考訳）: ニューラルネットワークの勾配降下によって引き起こされるリーマン計量の空間内の流れの理論を考案する。 これは、Calabi-Yauメトリクスをニューラルネットワークで近似する最近の進歩によるものであり、ニューラルネットワークの空間における理解フローの最近の進歩によって実現されている。 我々は、時間とともに進化する複雑な非局所物体である計量ニューラルネットワークカーネルによって制御される対応する計量フロー方程式を導出する。 しかし、多くのアーキテクチャでは、カーネルが固定され、ダイナミクスが単純化される無限幅の制限がある。 追加の仮定は流れの局所性を誘導し、3d Poincar\'e予想を解くのに使われたリッチフローのペレルマンの定式化の実現を可能にする。 これらのアイデアを数値calabi-yauメトリクスに適用し,機能学習の重要性に関する議論を行った。

関連論文リスト

• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Dynamically Stable Poincar\'e Embeddings for Neural Manifolds [10.76554740227876]
  初期計量がポインカーボール上の双曲計量から逸脱する$L2$-norm摂動を持つなら、そのような計量のスケールされたリッチ・デターク流は滑らかで指数関数的に双曲計量に収束する。 具体的には、リッチフローの役割は、安定なポアンカーの球に自然に進化し、ユークリッド空間に写像されることである。
  論文  参考訳（メタデータ） (2021-12-21T13:09:08Z)
• Learn Like The Pro: Norms from Theory to Size Neural Computation [3.848947060636351]
  非線形性を持つ力学系が、それらをエミュレートしようとするニューラル系の設計にどのように影響するかを考察する。 本稿では,学習性尺度を提案し,その関連する特徴を学習力学の近平衡挙動に量子化する。 連続的あるいは離散的な時間ダイナミクスを模倣する乗法ノードを持つニューラルネットワークのクラスの正確なサイズを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-21T20:58:27Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Convergence dynamics of Generative Adversarial Networks: the dual metric flows [0.0]
  機械学習におけるGenerative Adversarial Networksの収束性について検討する。 学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
  論文  参考訳（メタデータ） (2020-12-18T18:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。