論文の概要: Concept-Level Explanation for the Generalization of a DNN
- arxiv url: http://arxiv.org/abs/2302.13091v1
- Date: Sat, 25 Feb 2023 14:44:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 18:57:12.266289
- Title: Concept-Level Explanation for the Generalization of a DNN
- Title(参考訳): DNNの一般化のための概念レベル説明
- Authors: Huilin Zhou, Hao Zhang, Huiqi Deng, Dongrui Liu, Wen Shen, Shih-Han
Chan, Quanshi Zhang
- Abstract要約: 単純な概念は、複雑な概念よりもデータをテストするのによく一般化できる。
複雑な概念の学習難易度と一般化能力の低さを両立させる,複雑な概念の学習力学を解明する。
- 参考スコア(独自算出の注目度): 29.397443641307607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explains the generalization power of a deep neural network (DNN)
from the perspective of interactive concepts. Many recent studies have
quantified a clear emergence of interactive concepts encoded by the DNN, which
have been observed on different DNNs during the learning process. Therefore, in
this paper, we investigate the generalization power of each interactive
concept, and we use the generalization power of different interactive concepts
to explain the generalization power of the entire DNN. Specifically, we define
the complexity of each interactive concept. We find that simple concepts can be
better generalized to testing data than complex concepts. The DNN with strong
generalization power usually learns simple concepts more quickly and encodes
fewer complex concepts. More crucially, we discover the detouring dynamics of
learning complex concepts, which explain both the high learning difficulty and
the low generalization power of complex concepts.
- Abstract(参考訳): 本稿では,対話的概念の観点から,ディープニューラルネットワーク(DNN)の一般化能力を説明する。
近年の多くの研究は、学習過程で異なるDNNで観察されたDNNによって符号化されたインタラクティブな概念の明確な出現を定量化している。
そこで本研究では,各対話的概念の一般化力について検討し,異なる対話的概念の一般化力を用いて,DNN全体の一般化力を説明する。
具体的には、各インタラクティブな概念の複雑さを定義する。
単純な概念は複雑な概念よりもデータをテストする方がより一般化できる。
強い一般化力を持つDNNは通常、単純な概念をより早く学習し、より少ない複雑な概念を符号化する。
さらに重要なのは,複雑な概念を学習する上で,高い学習難易度と,複雑な概念の一般化力の低さの両方を説明する,ゆるやかなダイナミクスを見出すことだ。
関連論文リスト
- Defining and Extracting generalizable interaction primitives from DNNs [24.897875218177266]
我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。
実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
論文 参考訳(メタデータ) (2024-01-29T17:21:41Z) - Vector-based Representation is the Key: A Study on Disentanglement and
Compositional Generalization [77.57425909520167]
良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。
本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
論文 参考訳(メタデータ) (2023-05-29T13:05:15Z) - Bayesian Neural Networks Avoid Encoding Complex and
Perturbation-Sensitive Concepts [22.873523599349326]
本稿では,平均場変動ベイズニューラルネットワーク(BNN)に着目し,そのようなBNNの表現能力について検討する。
十分に訓練されたニューラルネットワークの知識表現において、比較的小さなインタラクティブな概念セットが出現することが観察され、研究されている。
我々の研究は、標準的なディープニューラルネットワーク(DNN)と比較して、BNNが複雑な概念をエンコードする可能性は低いことを証明している。
論文 参考訳(メタデータ) (2023-02-25T14:56:35Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳(メタデータ) (2022-10-06T15:36:27Z) - Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。
入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。
DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
論文 参考訳(メタデータ) (2021-11-11T14:35:20Z) - A Minimalist Dataset for Systematic Generalization of Perception,
Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。
HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。
我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文 参考訳(メタデータ) (2021-03-02T01:32:54Z) - Concepts, Properties and an Approach for Compositional Generalization [2.0559497209595823]
本報告は, 構成一般化に関する一連の研究を結びつけ, アプローチを要約する。
このアプローチでは、アーキテクチャ設計と正規化を使用して表現の情報を規制する。
この研究が、作曲の一般化の基礎を明確にし、人工知能の進歩に繋がることを願っている。
論文 参考訳(メタデータ) (2021-02-08T14:22:30Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳(メタデータ) (2020-07-14T22:04:17Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳(メタデータ) (2020-06-18T15:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。