論文の概要: High-dimensional manifold of solutions in neural networks: insights from
statistical physics
- arxiv url: http://arxiv.org/abs/2309.09240v1
- Date: Sun, 17 Sep 2023 11:10:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 16:42:06.456469
- Title: High-dimensional manifold of solutions in neural networks: insights from
statistical physics
- Title(参考訳): ニューラルネットワークにおける解の高次元多様体:統計物理学からの考察
- Authors: Enrico M. Malatesta
- Abstract要約: ニューラルネットワークに対する統計力学のアプローチを概観し、連立的な重み付きパーセプトロンアーキテクチャのパラダイム的な例に注目した。
ゼロトレーニングエラー構成が幾何学的にどのように配置されているかを明らかにする最近の研究について論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In these pedagogic notes I review the statistical mechanics approach to
neural networks, focusing on the paradigmatic example of the perceptron
architecture with binary an continuous weights, in the classification setting.
I will review the Gardner's approach based on replica method and the derivation
of the SAT/UNSAT transition in the storage setting. Then, I discuss some recent
works that unveiled how the zero training error configurations are
geometrically arranged, and how this arrangement changes as the size of the
training set increases. I also illustrate how different regions of solution
space can be explored analytically and how the landscape in the vicinity of a
solution can be characterized. I give evidence how, in binary weight models,
algorithmic hardness is a consequence of the disappearance of a clustered
region of solutions that extends to very large distances. Finally, I
demonstrate how the study of linear mode connectivity between solutions can
give insights into the average shape of the solution manifold.
- Abstract(参考訳): これらのペタゴジックノートでは、分類設定において、知覚論アーキテクチャのパラダイム的な例に注目し、ニューラルネットワークに対する統計力学アプローチについてレビューする。
複製法とストレージ設定におけるSAT/UNSAT遷移の導出に基づいてガードナーのアプローチを概観する。
次に,ゼロトレーニングエラー設定が幾何学的にどのように配置されているか,トレーニングセットのサイズが大きくなるにつれてこの配置がどのように変化するかを明らかにする。
また, 解空間の異なる領域を解析的に探究する方法と, 解近傍の景観を特徴付ける方法について説明する。
二重モデルでは、アルゴリズムの硬さが、非常に大きな距離まで広がる解の集合領域の消失の結果であることを示す。
最後に、解間の線形モード接続の研究が、解多様体の平均形状に対する洞察を与える方法を示す。
関連論文リスト
- Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - The star-shaped space of solutions of the spherical negative perceptron [4.511197686627054]
低エネルギー構成が複雑な連結構造によく見られることを示す。
我々は、他のほとんどの解と連結された非定型ハイマージンの部分集合を同定する。
論文 参考訳(メタデータ) (2023-05-18T00:21:04Z) - An Analysis of Physics-Informed Neural Networks [0.0]
我々は物理システム – 物理インフォームドニューラルネットワーク – に対する解を近似する新しいアプローチを提案する。
人工ニューラルネットワークの概念を導入し、目的関数を定義し、最適化戦略について議論する。
偏微分方程式は、問題の損失関数の制約として含まれ、ネットワークがモデリングしている物理系の力学の知識にアクセスできる。
論文 参考訳(メタデータ) (2023-03-06T04:45:53Z) - Discretization Invariant Networks for Learning Maps between Neural
Fields [3.09125960098955]
離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。
我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。
構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
論文 参考訳(メタデータ) (2022-06-02T17:44:03Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳(メタデータ) (2021-11-03T15:14:20Z) - Physics informed neural networks for continuum micromechanics [68.8204255655161]
近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。
グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。
実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
論文 参考訳(メタデータ) (2021-10-14T14:05:19Z) - Learning through atypical ''phase transitions'' in overparameterized
neural networks [0.43496401697112685]
現在のディープニューラルネットワークは可観測性が高く(最大数十億の接続重み)、非線形である。
しかし、過剰な降下アルゴリズムによってほぼ完全にデータに適合し、予期せぬ精度の予測を達成できる。
これらは一般化なしの恐ろしい挑戦である。
論文 参考訳(メタデータ) (2021-10-01T23:28:07Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳(メタデータ) (2021-02-22T19:42:40Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - Phase space learning with neural networks [0.0]
本研究では、部分微分方程式(PDE)を解く投影型手法の非線形一般化としてのオートエンコーダニューラルネットワークを提案する。
提案したディープラーニングアーキテクチャは、中間再構成なしに非常に少ない潜在空間に完全に統合することでPDEのダイナミクスを生成でき、その後、潜在解を元の空間に復号することができる。
単一経路のサンプルデータから動的システムの位相空間のグローバルな特性を学習するために、適切に正規化されたニューラルネットワークの信頼性と、目に見えない分岐を予測する能力を示す。
論文 参考訳(メタデータ) (2020-06-22T20:28:07Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。