論文の概要: Layerwise Change of Knowledge in Neural Networks

• arxiv url: http://arxiv.org/abs/2409.08712v1
• Date: Fri, 13 Sep 2024 10:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 16:58:47.407322
• Title: Layerwise Change of Knowledge in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける知識の階層的変化
• Authors: Xu Cheng, Lei Cheng, Zhaoran Peng, Yang Xu, Tian Han, Quanshi Zhang,
• Abstract要約: 本稿では、ディープニューラルネットワークが新しい知識を徐々に抽出し、前方伝播の層を通してノイズのある特徴を忘れる方法について説明する。 前方伝播中の各層における新しい相互作用と忘れられた相互作用を定量化し追跡する。
• 参考スコア（独自算出の注目度）: 25.919449855059415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to explain how a deep neural network (DNN) gradually extracts new knowledge and forgets noisy features through layers in forward propagation. Up to now, although the definition of knowledge encoded by the DNN has not reached a consensus, Previous studies have derived a series of mathematical evidence to take interactions as symbolic primitive inference patterns encoded by a DNN. We extend the definition of interactions and, for the first time, extract interactions encoded by intermediate layers. We quantify and track the newly emerged interactions and the forgotten interactions in each layer during the forward propagation, which shed new light on the learning behavior of DNNs. The layer-wise change of interactions also reveals the change of the generalization capacity and instability of feature representations of a DNN.
• Abstract（参考訳）: 本稿では、ディープニューラルネットワーク(DNN)が新しい知識を徐々に抽出し、前方伝播の層を通してノイズのある特徴を忘れていく方法について説明する。 これまでのところ、DNNによって符号化された知識の定義は合意に達していないが、先史研究は、相互作用をDNNによって符号化された記号的原始推論パターンとして捉えるための一連の数学的証拠を導出した。 相互作用の定義を拡張し、中間層によって符号化された相互作用を初めて抽出する。 本研究は,DNNの学習行動に新たな光を当てた前方伝播において,新たに出現した相互作用と,各層における忘れられた相互作用を定量化し,追跡する。 層レベルでの相互作用の変化は、DNNの特徴表現の一般化能力と不安定性の変化も示している。

関連論文リスト

• Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
  近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。 本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
  論文  参考訳（メタデータ） (2024-07-27T07:34:49Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
  我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。 実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
  論文  参考訳（メタデータ） (2024-01-29T17:21:41Z)
• Domain-informed graph neural networks: a quantum chemistry case study [0.34410212782758054]
  グラフニューラルネットワーク(GNN)に着目し、グラフとして表される化学系(分子と結晶)のポテンシャルエネルギーを推定する。 ドメイン知識の2つの要素をGNNの設計に統合し、学習を制約し、規則化し、より高精度で一般化する。
  論文  参考訳（メタデータ） (2022-08-25T08:36:50Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Examining the causal structures of deep neural networks using information theory [0.0]
  ディープニューラルネットワーク(DNN)は、ノードとデータセット間の相互情報を解析するなど、入力に対する応答のレベルでしばしば検討される。 DNNは因果関係のレベルで調べて、ネットワーク自体のレイヤ内で"何をするのか"を探ることもできる。 本稿では,学習中のDNNの因果構造の変化を定量化し,追跡するための情報理論に基づくメトリクススイートを紹介する。
  論文  参考訳（メタデータ） (2020-10-26T19:53:16Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。