論文の概要: Concept-Level Explanation for the Generalization of a DNN
- arxiv url: http://arxiv.org/abs/2302.13091v1
- Date: Sat, 25 Feb 2023 14:44:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 18:57:12.266289
- Title: Concept-Level Explanation for the Generalization of a DNN
- Title（参考訳）: DNNの一般化のための概念レベル説明
- Authors: Huilin Zhou, Hao Zhang, Huiqi Deng, Dongrui Liu, Wen Shen, Shih-Han
Chan, Quanshi Zhang
- Abstract要約: 単純な概念は、複雑な概念よりもデータをテストするのによく一般化できる。
複雑な概念の学習難易度と一般化能力の低さを両立させる,複雑な概念の学習力学を解明する。
- 参考スコア（独自算出の注目度）: 29.397443641307607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explains the generalization power of a deep neural network (DNN)
from the perspective of interactive concepts. Many recent studies have
quantified a clear emergence of interactive concepts encoded by the DNN, which
have been observed on different DNNs during the learning process. Therefore, in
this paper, we investigate the generalization power of each interactive
concept, and we use the generalization power of different interactive concepts
to explain the generalization power of the entire DNN. Specifically, we define
the complexity of each interactive concept. We find that simple concepts can be
better generalized to testing data than complex concepts. The DNN with strong
generalization power usually learns simple concepts more quickly and encodes
fewer complex concepts. More crucially, we discover the detouring dynamics of
learning complex concepts, which explain both the high learning difficulty and
the low generalization power of complex concepts.
- Abstract（参考訳）: 本稿では,対話的概念の観点から,ディープニューラルネットワーク(DNN)の一般化能力を説明する。
近年の多くの研究は、学習過程で異なるDNNで観察されたDNNによって符号化されたインタラクティブな概念の明確な出現を定量化している。
そこで本研究では,各対話的概念の一般化力について検討し,異なる対話的概念の一般化力を用いて,DNN全体の一般化力を説明する。
具体的には、各インタラクティブな概念の複雑さを定義する。
単純な概念は複雑な概念よりもデータをテストする方がより一般化できる。
強い一般化力を持つDNNは通常、単純な概念をより早く学習し、より少ない複雑な概念を符号化する。
さらに重要なのは,複雑な概念を学習する上で,高い学習難易度と,複雑な概念の一般化力の低さの両方を説明する,ゆるやかなダイナミクスを見出すことだ。
関連論文リスト
- Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳（メタデータ） (2024-05-16T17:13:25Z) - Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。
実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
論文 参考訳（メタデータ） (2024-01-29T17:21:41Z) - Technical Note: Defining and Quantifying AND-OR Interactions for Faithful and Concise Explanation of DNNs [24.099892982101398]
我々は、入力変数間の符号化された相互作用を定量化し、ディープニューラルネットワーク(DNN)を説明することを目的とする。
具体的には、まず相互作用の定義を再考し、次に相互作用に基づく説明に対する忠実さと簡潔さを正式に定義する。
論文 参考訳（メタデータ） (2023-04-26T06:33:31Z) - Bayesian Neural Networks Avoid Encoding Complex and
Perturbation-Sensitive Concepts [22.873523599349326]
本稿では,平均場変動ベイズニューラルネットワーク(BNN)に着目し,そのようなBNNの表現能力について検討する。
十分に訓練されたニューラルネットワークの知識表現において、比較的小さなインタラクティブな概念セットが出現することが観察され、研究されている。
我々の研究は、標準的なディープニューラルネットワーク(DNN)と比較して、BNNが複雑な概念をエンコードする可能性は低いことを証明している。
論文 参考訳（メタデータ） (2023-02-25T14:56:35Z) - Does a Neural Network Really Encode Symbolic Concepts? [24.099892982101398]
本稿では,インタラクション概念の信頼性を4つの観点から検討する。
広範囲にわたる実証研究により、よく訓練されたDNNは、通常スパース、転送可能、差別的な概念を符号化することを示した。
論文 参考訳（メタデータ） (2023-02-25T13:58:37Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。
入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。
DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
論文 参考訳（メタデータ） (2021-11-11T14:35:20Z) - GNN is a Counter? Revisiting GNN for Question Answering [105.8253992750951]
State-of-the-art Question Answering (QA)システムは通常、LMに符号化された知識にアクセスするために、訓練済み言語モデル(LM)を使用する。
知識グラフ(KG)の推論を行うグラフニューラルネットワーク(GNN)に基づく精巧に設計されたモジュール
我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。
論文 参考訳（メタデータ） (2021-10-07T05:44:52Z) - A Practical Tutorial on Graph Neural Networks [49.919443059032226]
グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。
このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
論文 参考訳（メタデータ） (2020-10-11T12:36:17Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。