Fugu-MT 論文翻訳(概要): Revisiting Generalization Power of a DNN in Terms of Symbolic Interactions

論文の概要: Revisiting Generalization Power of a DNN in Terms of Symbolic Interactions

arxiv url: http://arxiv.org/abs/2502.10162v1
Date: Fri, 14 Feb 2025 13:46:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-17 14:48:53.247551
Title: Revisiting Generalization Power of a DNN in Terms of Symbolic Interactions
Title（参考訳）: 記号的相互作用を考慮したDNNの一般化力の再検討
Authors: Lei Cheng, Junpeng Zhang, Qihan Ren, Quanshi Zhang,
Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から分析することを目的とする。 DNNの一般化パワーは相互作用の一般化パワーとして説明できる。
参考スコア（独自算出の注目度）: 24.77155634841885
License:
Abstract: This paper aims to analyze the generalization power of deep neural networks (DNNs) from the perspective of interactions. Unlike previous analysis of a DNN's generalization power in a highdimensional feature space, we find that the generalization power of a DNN can be explained as the generalization power of the interactions. We found that the generalizable interactions follow a decay-shaped distribution, while non-generalizable interactions follow a spindle-shaped distribution. Furthermore, our theory can effectively disentangle these two types of interactions from a DNN. We have verified that our theory can well match real interactions in a DNN in experiments.
Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から分析することを目的とする。高次元特徴空間におけるDNNの一般化パワーの以前の解析とは異なり、DNNの一般化パワーは相互作用の一般化パワーとして説明できる。一般化可能な相互作用は崩壊型の分布に従うが、一般化不可能な相互作用はスピンドル型の分布に従う。さらに、我々の理論は、これらの2種類の相互作用をDNNから効果的に切り離すことができる。我々は、実験において、我々の理論がDNNの実際の相互作用によく一致することを検証した。

関連論文リスト

Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
論文参考訳（メタデータ） (2024-08-25T16:00:44Z)
Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
論文参考訳（メタデータ） (2024-07-27T07:34:49Z)
A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文参考訳（メタデータ） (2024-06-07T19:25:02Z)
Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。本稿では,DNNが2段階の相互作用を学習していることを明らかにする。第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文参考訳（メタデータ） (2024-05-16T17:13:25Z)
Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
論文参考訳（メタデータ） (2024-01-29T17:21:41Z)
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文参考訳（メタデータ） (2023-05-02T22:15:54Z)
Explaining Generalization Power of a DNN Using Interactive Concepts [24.712192363947096]
本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から説明する。また,複雑な概念の学習困難さと,複雑な概念の一般化能力の低さを説明している。
論文参考訳（メタデータ） (2023-02-25T14:44:40Z)
Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation [44.393256948610016]
我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
論文参考訳（メタデータ） (2022-03-17T04:43:43Z)
Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。 DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
論文参考訳（メタデータ） (2021-11-11T14:35:20Z)
On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。