論文の概要: Explaining Generalization Power of a DNN Using Interactive Concepts
- arxiv url: http://arxiv.org/abs/2302.13091v2
- Date: Fri, 13 Sep 2024 09:19:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 23:56:50.614368
- Title: Explaining Generalization Power of a DNN Using Interactive Concepts
- Title（参考訳）: 対話型概念を用いたDNNの一般化パワーの説明
- Authors: Huilin Zhou, Hao Zhang, Huiqi Deng, Dongrui Liu, Wen Shen, Shih-Han Chan, Quanshi Zhang,
- Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から説明する。
また,複雑な概念の学習困難さと,複雑な概念の一般化能力の低さを説明している。
- 参考スコア（独自算出の注目度）: 24.712192363947096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explains the generalization power of a deep neural network (DNN) from the perspective of interactions. Although there is no universally accepted definition of the concepts encoded by a DNN, the sparsity of interactions in a DNN has been proved, i.e., the output score of a DNN can be well explained by a small number of interactions between input variables. In this way, to some extent, we can consider such interactions as interactive concepts encoded by the DNN. Therefore, in this paper, we derive an analytic explanation of inconsistency of concepts of different complexities. This may shed new lights on using the generalization power of concepts to explain the generalization power of the entire DNN. Besides, we discover that the DNN with stronger generalization power usually learns simple concepts more quickly and encodes fewer complex concepts. We also discover the detouring dynamics of learning complex concepts, which explains both the high learning difficulty and the low generalization power of complex concepts. The code will be released when the paper is accepted.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から説明する。
DNNで符号化された概念の普遍的な定義は存在しないが、DNNにおける相互作用の空間性は証明されている。
このようにして、ある程度は、DNNによって符号化されたインタラクティブな概念のような相互作用を考えることができる。
そこで本稿では,異なる複雑性の概念の矛盾を解析的に説明する。
これにより、DNN全体の一般化パワーを説明するために、概念の一般化パワーを使用する新たな光がもたらされる可能性がある。
さらに、より強力な一般化能力を持つDNNは、単純な概念をより早く学習し、より少ない複雑な概念をエンコードする。
また,複雑な概念の学習困難さと,複雑な概念の一般化能力の低さを説明している。
コードは、論文が受理されたときに公開される。
関連論文リスト
- Revisiting Generalization Power of a DNN in Terms of Symbolic Interactions [24.77155634841885]
本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から分析することを目的とする。
DNNの一般化パワーは相互作用の一般化パワーとして説明できる。
論文 参考訳（メタデータ） (2025-02-14T13:46:14Z) - Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳（メタデータ） (2024-05-16T17:13:25Z) - Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。
実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
論文 参考訳（メタデータ） (2024-01-29T17:21:41Z) - Bayesian Neural Networks Avoid Encoding Complex and
Perturbation-Sensitive Concepts [22.873523599349326]
本稿では,平均場変動ベイズニューラルネットワーク(BNN)に着目し,そのようなBNNの表現能力について検討する。
十分に訓練されたニューラルネットワークの知識表現において、比較的小さなインタラクティブな概念セットが出現することが観察され、研究されている。
我々の研究は、標準的なディープニューラルネットワーク(DNN)と比較して、BNNが複雑な概念をエンコードする可能性は低いことを証明している。
論文 参考訳（メタデータ） (2023-02-25T14:56:35Z) - Does a Neural Network Really Encode Symbolic Concepts? [24.099892982101398]
本稿では,インタラクション概念の信頼性を4つの観点から検討する。
広範囲にわたる実証研究により、よく訓練されたDNNは、通常スパース、転送可能、差別的な概念を符号化することを示した。
論文 参考訳（メタデータ） (2023-02-25T13:58:37Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。
入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。
DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
論文 参考訳（メタデータ） (2021-11-11T14:35:20Z) - GNN is a Counter? Revisiting GNN for Question Answering [105.8253992750951]
State-of-the-art Question Answering (QA)システムは通常、LMに符号化された知識にアクセスするために、訓練済み言語モデル(LM)を使用する。
知識グラフ(KG)の推論を行うグラフニューラルネットワーク(GNN)に基づく精巧に設計されたモジュール
我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。
論文 参考訳（メタデータ） (2021-10-07T05:44:52Z) - A Practical Tutorial on Graph Neural Networks [49.919443059032226]
グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。
このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
論文 参考訳（メタデータ） (2020-10-11T12:36:17Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。