論文の概要: Metric Flows with Neural Networks
- arxiv url: http://arxiv.org/abs/2310.19870v1
- Date: Mon, 30 Oct 2023 18:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 18:14:01.074330
- Title: Metric Flows with Neural Networks
- Title(参考訳): ニューラルネットワークを用いた計量流
- Authors: James Halverson and Fabian Ruehle
- Abstract要約: ニューラルネットワークの勾配勾配による流れの理論を考案する。
これは部分的には、Calabi-Yauメトリクスをニューラルネットワークで近似する進歩によるものである。
本稿では,これらのアイデアを,特徴学習の重要性に関する議論を含む数値的なカラビ・ヤウ指標に適用する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a theory of flows in the space of Riemannian metrics induced by
neural network gradient descent. This is motivated in part by recent advances
in approximating Calabi-Yau metrics with neural networks and is enabled by
recent advances in understanding flows in the space of neural networks. We
derive the corresponding metric flow equations, which are governed by a metric
neural tangent kernel, a complicated, non-local object that evolves in time.
However, many architectures admit an infinite-width limit in which the kernel
becomes fixed and the dynamics simplify. Additional assumptions can induce
locality in the flow, which allows for the realization of Perelman's
formulation of Ricci flow that was used to resolve the 3d Poincar\'e
conjecture. We apply these ideas to numerical Calabi-Yau metrics, including a
discussion on the importance of feature learning.
- Abstract(参考訳): ニューラルネットワークの勾配降下によって引き起こされるリーマン計量の空間内の流れの理論を考案する。
これは、Calabi-Yauメトリクスをニューラルネットワークで近似する最近の進歩によるものであり、ニューラルネットワークの空間における理解フローの最近の進歩によって実現されている。
我々は、時間とともに進化する複雑な非局所物体である計量ニューラルネットワークカーネルによって制御される対応する計量フロー方程式を導出する。
しかし、多くのアーキテクチャでは、カーネルが固定され、ダイナミクスが単純化される無限幅の制限がある。
追加の仮定は流れの局所性を誘導し、3d Poincar\'e予想を解くのに使われたリッチフローのペレルマンの定式化の実現を可能にする。
これらのアイデアを数値calabi-yauメトリクスに適用し,機能学習の重要性に関する議論を行った。
関連論文リスト
- Conditional computation in neural networks: principles and research
trends [50.55999420565082]
本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。
特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
論文 参考訳(メタデータ) (2024-03-12T11:56:38Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Proximal Mean Field Learning in Shallow Neural Networks [0.4972323953932129]
無限幅の単一の隠蔽層を有する浅層ニューラルネットワークのための独自の学習アルゴリズムを提案する。
解析ツールとしてではなく,計算アルゴリズムとして,平均場学習を実現する。
本アルゴリズムはリスク関数に関連する自由エネルギーの勾配降下を行う。
論文 参考訳(メタデータ) (2022-10-25T10:06:26Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Approximation Power of Deep Neural Networks: an explanatory mathematical
survey [0.0]
本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。
我々は、ニューラルネットワークが他の古典的線形および非線形近似法より優れている理由と理由を理解することを目的としている。
論文 参考訳(メタデータ) (2022-07-19T18:47:44Z) - Dynamically Stable Poincar\'e Embeddings for Neural Manifolds [10.76554740227876]
初期計量がポインカーボール上の双曲計量から逸脱する$L2$-norm摂動を持つなら、そのような計量のスケールされたリッチ・デターク流は滑らかで指数関数的に双曲計量に収束する。
具体的には、リッチフローの役割は、安定なポアンカーの球に自然に進化し、ユークリッド空間に写像されることである。
論文 参考訳(メタデータ) (2021-12-21T13:09:08Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。
また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-01-08T11:30:50Z) - Convergence dynamics of Generative Adversarial Networks: the dual metric
flows [0.0]
機械学習におけるGenerative Adversarial Networksの収束性について検討する。
学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
論文 参考訳(メタデータ) (2020-12-18T18:00:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。