論文の概要: High-dimensional manifold of solutions in neural networks: insights from statistical physics

• arxiv url: http://arxiv.org/abs/2309.09240v1
• Date: Sun, 17 Sep 2023 11:10:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 16:42:06.456469
• Title: High-dimensional manifold of solutions in neural networks: insights from statistical physics
• Title（参考訳）: ニューラルネットワークにおける解の高次元多様体:統計物理学からの考察
• Authors: Enrico M. Malatesta
• Abstract要約: ニューラルネットワークに対する統計力学のアプローチを概観し、連立的な重み付きパーセプトロンアーキテクチャのパラダイム的な例に注目した。 ゼロトレーニングエラー構成が幾何学的にどのように配置されているかを明らかにする最近の研究について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In these pedagogic notes I review the statistical mechanics approach to neural networks, focusing on the paradigmatic example of the perceptron architecture with binary an continuous weights, in the classification setting. I will review the Gardner's approach based on replica method and the derivation of the SAT/UNSAT transition in the storage setting. Then, I discuss some recent works that unveiled how the zero training error configurations are geometrically arranged, and how this arrangement changes as the size of the training set increases. I also illustrate how different regions of solution space can be explored analytically and how the landscape in the vicinity of a solution can be characterized. I give evidence how, in binary weight models, algorithmic hardness is a consequence of the disappearance of a clustered region of solutions that extends to very large distances. Finally, I demonstrate how the study of linear mode connectivity between solutions can give insights into the average shape of the solution manifold.
• Abstract（参考訳）: これらのペタゴジックノートでは、分類設定において、知覚論アーキテクチャのパラダイム的な例に注目し、ニューラルネットワークに対する統計力学アプローチについてレビューする。 複製法とストレージ設定におけるSAT/UNSAT遷移の導出に基づいてガードナーのアプローチを概観する。 次に,ゼロトレーニングエラー設定が幾何学的にどのように配置されているか,トレーニングセットのサイズが大きくなるにつれてこの配置がどのように変化するかを明らかにする。 また, 解空間の異なる領域を解析的に探究する方法と, 解近傍の景観を特徴付ける方法について説明する。 二重モデルでは、アルゴリズムの硬さが、非常に大きな距離まで広がる解の集合領域の消失の結果であることを示す。 最後に、解間の線形モード接続の研究が、解多様体の平均形状に対する洞察を与える方法を示す。

関連論文リスト

• Space-Variant Total Variation boosted by learning techniques in few-view tomographic imaging [0.0]
  本稿では,未決定の線形逆問題に対する空間変動正規化モデルの開発に焦点をあてる。 提案モデルの主な目的は,ディノベーションと細部・縁の保存のバランスを良くすることである。 畳み込みニューラルネットワークは、トレーニングにおいて弾性損失関数を用いて、基底真理像とその勾配を近似するように設計されている。
  論文  参考訳（メタデータ） (2024-04-25T08:58:41Z)
• Approximation Theory, Computing, and Deep Learning on the Wasserstein Space [0.5735035463793009]
  有限標本からの無限次元空間における近似関数の挑戦に対処する。 我々の焦点はワッサーシュタイン距離関数であり、これは関連する例である。 機能近似を定義するために,機械学習に基づく3つのアプローチを採用する。
  論文  参考訳（メタデータ） (2023-10-30T13:59:47Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• The star-shaped space of solutions of the spherical negative perceptron [4.511197686627054]
  低エネルギー構成が複雑な連結構造によく見られることを示す。 我々は、他のほとんどの解と連結された非定型ハイマージンの部分集合を同定する。
  論文  参考訳（メタデータ） (2023-05-18T00:21:04Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)
• Learning through atypical ''phase transitions'' in overparameterized neural networks [0.43496401697112685]
  現在のディープニューラルネットワークは可観測性が高く(最大数十億の接続重み)、非線形である。 しかし、過剰な降下アルゴリズムによってほぼ完全にデータに適合し、予期せぬ精度の予測を達成できる。 これらは一般化なしの恐ろしい挑戦である。
  論文  参考訳（メタデータ） (2021-10-01T23:28:07Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations [2.3018169548556977]
  本稿では,2層ニューラルネットワークにおける線形整流ユニットが解空間の容量および幾何学的景観に与える影響について検討する。 予想外のことに、隠れた層内のニューロン数が増加するにつれて、ネットワークの容量は有限であることがわかった。 おそらくもっと重要なことは、大きな偏差のアプローチによって、解空間の幾何学的景観が特異な構造を持つことを見つけることができるということである。
  論文  参考訳（メタデータ） (2019-07-17T15:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。