論文の概要: Towards the Dynamics of a DNN Learning Symbolic Interactions

• arxiv url: http://arxiv.org/abs/2407.19198v2
• Date: Mon, 25 Nov 2024 08:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:52.917824
• Title: Towards the Dynamics of a DNN Learning Symbolic Interactions
• Title（参考訳）: DNN学習記号相互作用のダイナミクスに向けて
• Authors: Qihan Ren, Junpeng Zhang, Yang Xu, Yue Xin, Dongrui Liu, Quanshi Zhang,
• Abstract要約: 近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。 本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
• 参考スコア（独自算出の注目度）: 20.493304123269446
• License:
• Abstract: This study proves the two-phase dynamics of a deep neural network (DNN) learning interactions. Despite the long disappointing view of the faithfulness of post-hoc explanation of a DNN, a series of theorems have been proven in recent years to show that for a given input sample, a small set of interactions between input variables can be considered as primitive inference patterns that faithfully represent a DNN's detailed inference logic on that sample. Particularly, Zhang et al. have observed that various DNNs all learn interactions of different complexities in two distinct phases, and this two-phase dynamics well explains how a DNN changes from under-fitting to over-fitting. Therefore, in this study, we mathematically prove the two-phase dynamics of interactions, providing a theoretical mechanism for how the generalization power of a DNN changes during the training process. Experiments show that our theory well predicts the real dynamics of interactions on different DNNs trained for various tasks.
• Abstract（参考訳）: 本研究では、ディープニューラルネットワーク(DNN)学習相互作用の2相ダイナミクスを実証する。 DNNのポストホックな説明の忠実さに対する長く失望した見解にもかかわらず、近年、一連の定理が証明され、与えられた入力サンプルに対して、入力変数間の小さな相互作用が、そのサンプル上のDNNの詳細な推論ロジックを忠実に表現する原始的推論パターンとして考えられることが示されている。 特にZhangらは、様々なDNNが2つの異なる位相における異なる複雑さの相互作用を学習していることを観察しており、この2相のダイナミクスは、DNNが不適合から過適合にどのように変化するかをうまく説明している。 そこで本研究では,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを数学的に証明する。 実験により,我々の理論は様々なタスクで訓練された異なるDNN上での相互作用の実際のダイナミクスをよく予測できることがわかった。

関連論文リスト

• Layerwise Change of Knowledge in Neural Networks [25.919449855059415]
  本稿では、ディープニューラルネットワークが新しい知識を徐々に抽出し、前方伝播の層を通してノイズのある特徴を忘れる方法について説明する。 前方伝播中の各層における新しい相互作用と忘れられた相互作用を定量化し追跡する。
  論文  参考訳（メタデータ） (2024-09-13T10:59:24Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
  我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。 実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
  論文  参考訳（メタデータ） (2024-01-29T17:21:41Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
  本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。 入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。 DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
  論文  参考訳（メタデータ） (2021-11-11T14:35:20Z)
• Interpreting Multivariate Shapley Interactions in DNNs [33.67263820904767]
  本稿では,多変量相互作用の観点から,ディープニューラルネットワーク(DNN)を説明することを目的とする。 本稿では,DNNの複数入力変数間の相互作用の意義を定義し,定量化する。
  論文  参考訳（メタデータ） (2020-10-10T17:02:51Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。