論文の概要: High-entropy Advantage in Neural Networks' Generalizability

• arxiv url: http://arxiv.org/abs/2503.13145v1
• Date: Mon, 17 Mar 2025 13:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:27:56.068421
• Title: High-entropy Advantage in Neural Networks' Generalizability
• Title（参考訳）: ニューラルネットワークの一般化性における高エントロピーアドバンテージ
• Authors: Entao Yang, Xiaotian Zhang, Yue Shang, Ge Zhang,
• Abstract要約: 本稿では、ニューラルネットワークにエントロピーの概念を導入し、それを仮想物理系として再認識する。 ニューラルネットワークのエントロピーランドスケープを,4つの異なる機械学習タスクのトレーニング損失とテスト精度(あるいは損失)の関数として構築する。 以上の結果から,高エントロピー状態は古典的訓練によって到達した状態よりも優れていた。
• 参考スコア（独自算出の注目度）: 7.193952396909214
• License:
• Abstract: While the 2024 Nobel Prize in Physics ignites a worldwide discussion on the origins of neural networks and their foundational links to physics, modern machine learning research predominantly focuses on computational and algorithmic advancements, overlooking a picture of physics. Here we introduce the concept of entropy into neural networks by reconceptualizing them as hypothetical physical systems where each parameter is a non-interacting 'particle' within a one-dimensional space. By employing a Wang-Landau algorithms, we construct the neural networks' (with up to 1 million parameters) entropy landscapes as functions of training loss and test accuracy (or loss) across four distinct machine learning tasks, including arithmetic question, real-world tabular data, image recognition, and language modeling. Our results reveal the existence of \textit{entropy advantage}, where the high-entropy states generally outperform the states reached via classical training optimizer like stochastic gradient descent. We also find this advantage is more pronounced in narrower networks, indicating a need of different training optimizers tailored to different sizes of neural networks.
• Abstract（参考訳）: 2024年のノーベル物理学賞は、ニューラルネットワークの起源とその物理への基礎的関連に関する世界的議論に火をつけたが、現代の機械学習の研究は主に計算とアルゴリズムの進歩に焦点を当てており、物理学の絵を見下ろしている。 ここでは、ニューラルネットワークにエントロピーの概念を導入し、1次元空間内で各パラメータが非相互作用的な「粒子」である仮説物理系として再認識する。 Wang-Landauアルゴリズムを用いることで、算術問題、実世界グラフデータ、画像認識、言語モデリングを含む4つの異なる機械学習タスクに対して、トレーニング損失とテスト精度(または損失)の関数として、ニューラルネットワーク(最大100万個のパラメータを持つ)エントロピーランドスケープを構築する。 以上の結果から,高エントロピー状態は,確率勾配降下のような古典的トレーニングオプティマイザによって達成された状態よりも優れていた。 この利点は、より狭いネットワークではより顕著であり、ニューラルネットワークのさまざまなサイズに合わせて調整された、異なるトレーニングオプティマイザの必要性も示している。

関連論文リスト

• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• A deep learning theory for neural networks grounded in physics [2.132096006921048]
  ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。 私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
  論文  参考訳（メタデータ） (2021-03-18T02:12:48Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
  本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。 一般化能力とニューラルネットワークの安定性との関係についても論じている。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
  論文  参考訳（メタデータ） (2020-11-03T12:03:19Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。