論文の概要: Towards the Three-Phase Dynamics of Generalization Power of a DNN

• arxiv url: http://arxiv.org/abs/2505.06993v1
• Date: Sun, 11 May 2025 14:37:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.150858
• Title: Towards the Three-Phase Dynamics of Generalization Power of a DNN
• Title（参考訳）: DNNの一般化パワーの3相ダイナミクスに向けて
• Authors: Yuxuan He, Junpeng Zhang, Hongyuan Zhang, Quanshi Zhang,
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の一般化能力を解析するための新しい視点を提案する。 非汎用的なインタラクションの学習が、トレーニングとテストの損失のギャップの直接的な原因であることを示す。
• 参考スコア（独自算出の注目度）: 30.551879365780856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a new perspective for analyzing the generalization power of deep neural networks (DNNs), i.e., directly disentangling and analyzing the dynamics of generalizable and non-generalizable interaction encoded by a DNN through the training process. Specifically, this work builds upon the recent theoretical achievement in explainble AI, which proves that the detailed inference logic of DNNs can be can be strictly rewritten as a small number of AND-OR interaction patterns. Based on this, we propose an efficient method to quantify the generalization power of each interaction, and we discover a distinct three-phase dynamics of the generalization power of interactions during training. In particular, the early phase of training typically removes noisy and non-generalizable interactions and learns simple and generalizable ones. The second and the third phases tend to capture increasingly complex interactions that are harder to generalize. Experimental results verify that the learning of non-generalizable interactions is the the direct cause for the gap between the training and testing losses.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)の一般化能力,すなわちDNNによって符号化された一般化可能および非一般化可能相互作用のダイナミクスを直接解析する新たな視点を提案する。 具体的には、この研究は、DNNの詳細な推論ロジックを少数のAND-OR相互作用パターンとして厳密に書き換えることができることを証明した、最近の説明可能なAIにおける理論的成果に基づいている。 そこで本研究では,各相互作用の一般化パワーを定量化するための効率的な手法を提案し,学習中の相互作用の一般化パワーの3相ダイナミクスを明らかにした。 特に、訓練の初期段階は一般的にノイズや非一般化可能な相互作用を取り除き、単純で一般化可能な相互作用を学ぶ。 第2相と第3相は、一般化が難しい複雑な相互作用を捉える傾向にある。 実験結果から,非一般化可能なインタラクションの学習が,トレーニングとテストの損失のギャップの直接的な原因であることが確認された。

関連論文リスト

• Revisiting Generalization Power of a DNN in Terms of Symbolic Interactions [24.77155634841885]
  本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から分析することを目的とする。 DNNの一般化パワーは相互作用の一般化パワーとして説明できる。
  論文  参考訳（メタデータ） (2025-02-14T13:46:14Z)
• Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
  近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。 本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
  論文  参考訳（メタデータ） (2024-07-27T07:34:49Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
  我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。 実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
  論文  参考訳（メタデータ） (2024-01-29T17:21:41Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。