論文の概要: GenEFT: Understanding Statics and Dynamics of Model Generalization via
Effective Theory
- arxiv url: http://arxiv.org/abs/2402.05916v1
- Date: Thu, 8 Feb 2024 18:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 13:24:30.752868
- Title: GenEFT: Understanding Statics and Dynamics of Model Generalization via
Effective Theory
- Title(参考訳): GenEFT:有効理論によるモデル一般化の静的とダイナミクスの理解
- Authors: David D. Baek, Ziming Liu, Max Tegmark
- Abstract要約: ニューラルネットワークの一般化の静的性と動的性に光を遮る効果的な理論フレームワークを提案する。
我々はデコーダが弱すぎても強すぎないGoldilocksゾーンの一般化を見出した。
次に、潜在空間表現を相互作用粒子(応答)としてモデル化する表現学習のダイナミクスに関する効果的な理論を導入する。
- 参考スコア(独自算出の注目度): 16.876961991785507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present GenEFT: an effective theory framework for shedding light on the
statics and dynamics of neural network generalization, and illustrate it with
graph learning examples. We first investigate the generalization phase
transition as data size increases, comparing experimental results with
information-theory-based approximations. We find generalization in a Goldilocks
zone where the decoder is neither too weak nor too powerful. We then introduce
an effective theory for the dynamics of representation learning, where
latent-space representations are modeled as interacting particles (repons), and
find that it explains our experimentally observed phase transition between
generalization and overfitting as encoder and decoder learning rates are
scanned. This highlights the power of physics-inspired effective theories for
bridging the gap between theoretical predictions and practice in machine
learning.
- Abstract(参考訳): 我々は、ニューラルネットワークの一般化の静的性とダイナミクスに光を当てる効果的な理論フレームワークGenEFTを紹介し、それをグラフ学習の例で説明する。
まず,データサイズの増加に伴う一般化相転移について検討し,実験結果と情報理論に基づく近似との比較を行った。
我々は、デコーダが弱すぎても強すぎるわけでもないgoldilocksゾーンで一般化を見つける。
次に, 潜在空間表現を相互作用粒子としてモデル化する表現学習のダイナミクスに関する効果的な理論(応答)を導入し, エンコーダとデコーダ学習率として一般化と過剰フィッティングの位相遷移を実験的に観察した。
これは、理論予測と機械学習の実践の間のギャップを埋めるための物理学に着想を得た効果的な理論の力を強調している。
関連論文リスト
- Advective Diffusion Transformers for Topological Generalization in Graph
Learning [69.2894350228753]
グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。
本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
論文 参考訳(メタデータ) (2023-10-10T08:40:47Z) - Towards Understanding the Generalization of Graph Neural Networks [9.217947432437546]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。
まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。
理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
論文 参考訳(メタデータ) (2023-05-14T03:05:14Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - Beyond spectral gap (extended): The role of the topology in
decentralized learning [58.48291921602417]
機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。
現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。
本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
論文 参考訳(メタデータ) (2023-01-05T16:53:38Z) - A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。
モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
論文 参考訳(メタデータ) (2022-11-27T01:53:29Z) - Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。
本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。
我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
論文 参考訳(メタデータ) (2022-06-07T08:19:06Z) - Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。
動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
論文 参考訳(メタデータ) (2021-10-16T16:51:05Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳(メタデータ) (2021-08-25T02:29:28Z) - Learning While Dissipating Information: Understanding the Generalization
Capability of SGLD [9.328633662865682]
勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。
分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
論文 参考訳(メタデータ) (2021-02-05T03:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。