論文の概要: Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features

• arxiv url: http://arxiv.org/abs/2405.10262v1
• Date: Thu, 16 May 2024 17:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 13:33:15.799921
• Title: Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features
• Title（参考訳）: 相互作用の2相ダイナミクスがDNN学習過度特徴の出発点を説明する
• Authors: Junpeng Zhang, Qing Li, Liang Lin, Quanshi Zhang,
• Abstract要約: 深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
• 参考スコア（独自算出の注目度）: 68.3512123520931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the dynamics of a deep neural network (DNN) learning interactions. Previous studies have discovered and mathematically proven that given each input sample, a well-trained DNN usually only encodes a small number of interactions (non-linear relationships) between input variables in the sample. A series of theorems have been derived to prove that we can consider the DNN's inference equivalent to using these interactions as primitive patterns for inference. In this paper, we discover the DNN learns interactions in two phases. The first phase mainly penalizes interactions of medium and high orders, and the second phase mainly learns interactions of gradually increasing orders. We can consider the two-phase phenomenon as the starting point of a DNN learning over-fitted features. Such a phenomenon has been widely shared by DNNs with various architectures trained for different tasks. Therefore, the discovery of the two-phase dynamics provides a detailed mechanism for how a DNN gradually learns different inference patterns (interactions). In particular, we have also verified the claim that high-order interactions have weaker generalization power than low-order interactions. Thus, the discovered two-phase dynamics also explains how the generalization power of a DNN changes during the training process.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 以前の研究では、各入力サンプルが与えられたとき、よく訓練されたDNNは、通常、サンプル内の入力変数間の少数の相互作用(非線形関係)を符号化するだけであることを発見、数学的に証明されている。 一連の定理は、DNNの推論がこれらの相互作用を推論の原始パターンとして使うのと等価であることを示すために導出された。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。 2相現象をDNN学習における過度な特徴の出発点とみなすことができる。 このような現象は、異なるタスクのために訓練された様々なアーキテクチャを持つDNNによって広く共有されている。 したがって、2相ダイナミクスの発見は、DNNが徐々に異なる推論パターン(相互作用)を学習する方法の詳細なメカニズムを提供する。 特に,高次相互作用は低次相互作用よりも一般化力が弱いという主張も検証した。 これにより、DNNの一般化能力がトレーニング過程でどのように変化するかも説明できる。

関連論文リスト

• Defining and Extracting generalizable interaction primitives from DNNs [24.897875218177266]
  我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。 実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
  論文  参考訳（メタデータ） (2024-01-29T17:21:41Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Technical Note: Defining and Quantifying AND-OR Interactions for Faithful and Concise Explanation of DNNs [35.149004732692134]
  我々は、入力変数間の符号化された相互作用を定量化し、ディープニューラルネットワーク(DNN)を説明することを目的とする。 具体的には、まず相互作用の定義を再考し、次に相互作用に基づく説明に対する忠実さと簡潔さを正式に定義する。
  論文  参考訳（メタデータ） (2023-04-26T06:33:31Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
  本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。 入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。 DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
  論文  参考訳（メタデータ） (2021-11-11T14:35:20Z)
• Interpreting Multivariate Shapley Interactions in DNNs [33.67263820904767]
  本稿では,多変量相互作用の観点から,ディープニューラルネットワーク(DNN)を説明することを目的とする。 本稿では,DNNの複数入力変数間の相互作用の意義を定義し,定量化する。
  論文  参考訳（メタデータ） (2020-10-10T17:02:51Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。