論文の概要: Towards the Dynamics of a DNN Learning Symbolic Interactions
- arxiv url: http://arxiv.org/abs/2407.19198v1
- Date: Sat, 27 Jul 2024 07:34:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 19:21:07.458253
- Title: Towards the Dynamics of a DNN Learning Symbolic Interactions
- Title(参考訳): DNN学習記号相互作用のダイナミクスに向けて
- Authors: Qihan Ren, Yang Xu, Junpeng Zhang, Yue Xin, Dongrui Liu, Quanshi Zhang,
- Abstract要約: 近年、一連の定理が証明され、入力サンプルが与えられた場合、入力変数間の相互作用がプリミティブ推論パターンとして考えられることが示されている。
本研究では、ディープニューラルネットワーク(DNN)学習相互作用の2相ダイナミクスを実証する。
- 参考スコア(独自算出の注目度): 20.493304123269446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study proves the two-phase dynamics of a deep neural network (DNN) learning interactions. Despite the long disappointing view of the faithfulness of post-hoc explanation of a DNN, in recent years, a series of theorems have been proven to show that given an input sample, a small number of interactions between input variables can be considered as primitive inference patterns, which can faithfully represent every detailed inference logic of the DNN on this sample. Particularly, it has been observed that various DNNs all learn interactions of different complexities with two-phase dynamics, and this well explains how a DNN's generalization power changes from under-fitting to over-fitting. Therefore, in this study, we prove the dynamics of a DNN gradually encoding interactions of different complexities, which provides a theoretically grounded mechanism for the over-fitting of a DNN. Experiments show that our theory well predicts the real learning dynamics of various DNNs on different tasks.
- Abstract(参考訳): 本研究では、ディープニューラルネットワーク(DNN)学習相互作用の2相ダイナミクスを実証する。
DNNのポストホックな説明の忠実さに対する長く失望した見解にもかかわらず、近年、一連の定理が、入力されたサンプルが与えられた場合、入力変数間の少数の相互作用が原始的推論パターンと見なされ、DNNのすべての詳細推論ロジックを忠実に表現できることを示すことが証明されている。
特に、様々なDNNが2相ダイナミクスと異なる複雑さの相互作用を学習していることが観察されており、このことはDNNの一般化パワーが不適合から過適合へとどのように変化するかをうまく説明している。
そこで本研究では,DNNの動的特性を,異なる複雑さの相互作用を徐々に符号化し,DNNの過度な適合を理論的に基礎づけたメカニズムを提供する。
実験の結果,我々の理論は様々なDNNの実際の学習ダイナミクスを様々なタスクでよく予測できることがわかった。
関連論文リスト
- Layerwise Change of Knowledge in Neural Networks [25.919449855059415]
本稿では、ディープニューラルネットワークが新しい知識を徐々に抽出し、前方伝播の層を通してノイズのある特徴を忘れる方法について説明する。
前方伝播中の各層における新しい相互作用と忘れられた相互作用を定量化し追跡する。
論文 参考訳(メタデータ) (2024-09-13T10:59:24Z) - Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳(メタデータ) (2024-05-16T17:13:25Z) - Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。
実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
論文 参考訳(メタデータ) (2024-01-29T17:21:41Z) - SEGNO: Generalizing Equivariant Graph Neural Networks with Physical
Inductive Biases [66.61789780666727]
等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。
また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。
我々のモデルは最先端のベースラインよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-08-25T07:15:58Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳(メタデータ) (2023-05-02T22:15:54Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。
入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。
DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
論文 参考訳(メタデータ) (2021-11-11T14:35:20Z) - Interpreting Multivariate Shapley Interactions in DNNs [33.67263820904767]
本稿では,多変量相互作用の観点から,ディープニューラルネットワーク(DNN)を説明することを目的とする。
本稿では,DNNの複数入力変数間の相互作用の意義を定義し,定量化する。
論文 参考訳(メタデータ) (2020-10-10T17:02:51Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳(メタデータ) (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。