論文の概要: High-entropy Advantage in Neural Networks' Generalizability

• arxiv url: http://arxiv.org/abs/2503.13145v2
• Date: Thu, 17 Apr 2025 03:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:33:05.569308
• Title: High-entropy Advantage in Neural Networks' Generalizability
• Title（参考訳）: ニューラルネットワークの一般化性における高エントロピーアドバンテージ
• Authors: Entao Yang, Xiaotian Zhang, Yue Shang, Ge Zhang,
• Abstract要約: 現代の機械学習における中心的な課題の1つは、ニューラルネットワークがトレーニングデータから学習した知識を、目に見えないテストデータに一般化する方法を理解することである。 ここでは、重みとバイアスが原子座標であり、損失関数がポテンシャルエネルギーである仮説分子系として、ニューラルネットワークへのボルツマンエントロピーの概念を紹介する。 分子シミュレーションアルゴリズムを用いることで、最大100万のパラメータを持つネットワーク上でのトレーニング損失とテスト精度(またはテスト損失)の両方の関数として、エントロピーランドスケープを4つの異なる機械学習タスクで計算する。
• 参考スコア（独自算出の注目度）: 7.193952396909214
• License:
• Abstract: One of the central challenges in modern machine learning is understanding how neural networks generalize knowledge learned from training data to unseen test data. While numerous empirical techniques have been proposed to improve generalization, a theoretical understanding of the mechanism of generalization remains elusive. Here we introduce the concept of Boltzmann entropy into neural networks by re-conceptualizing such networks as hypothetical molecular systems where weights and biases are atomic coordinates, and the loss function is the potential energy. By employing molecular simulation algorithms, we compute entropy landscapes as functions of both training loss and test accuracy (or test loss), on networks with up to 1 million parameters, across four distinct machine learning tasks: arithmetic question, real-world tabular data, image recognition, and language modeling. Our results reveal the existence of high-entropy advantage, wherein high-entropy network states generally outperform those reached via conventional training techniques like stochastic gradient descent. This entropy advantage provides a thermodynamic explanation for neural network generalizability: the generalizable states occupy a larger part of the parameter space than its non-generalizable analog at low train loss. Furthermore, we find this advantage more pronounced in narrower neural networks, indicating a need for different training optimizers tailored to different sizes of networks.
• Abstract（参考訳）: 現代の機械学習における中心的な課題の1つは、ニューラルネットワークがトレーニングデータから学習した知識を、目に見えないテストデータに一般化する方法を理解することである。 一般化を改善するために多くの経験的手法が提案されているが、一般化のメカニズムに関する理論的理解はいまだ解明されていない。 ここでは、重みとバイアスが原子座標である仮説分子系や損失関数がポテンシャルエネルギーであるようなネットワークを再概念化し、ボルツマンエントロピーの概念をニューラルネットワークに導入する。 分子シミュレーションアルゴリズムを用いることで、最大100万のパラメータを持つネットワーク上で、エントロピーランドスケープをトレーニング損失とテスト精度(またはテスト損失)の両方の関数として計算する。 以上の結果から,高エントロピーのネットワーク状態は,確率勾配勾配のような従来の訓練手法よりも優れていたことが判明した。 このエントロピー優位性は、ニューラルネットワークの一般化可能性に関する熱力学的説明を与える: 一般化可能な状態は、低列車損失時の非一般化可能なアナログよりもパラメータ空間の大部分を占める。 さらに、より狭いニューラルネットワークでは、この利点がより顕著であることが分かり、異なるネットワークサイズに合わせたトレーニングオプティマイザの必要性が示唆された。

関連論文リスト

• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• A deep learning theory for neural networks grounded in physics [2.132096006921048]
  ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。 私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
  論文  参考訳（メタデータ） (2021-03-18T02:12:48Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
  本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。 一般化能力とニューラルネットワークの安定性との関係についても論じている。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
  論文  参考訳（メタデータ） (2020-11-03T12:03:19Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。