論文の概要: Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory

• arxiv url: http://arxiv.org/abs/2212.00998v1
• Date: Fri, 2 Dec 2022 06:34:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 17:15:13.992205
• Title: Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory
• Title（参考訳）: クープマン演算子理論に基づく訓練ニューラルネットワークのクレジット割り当て
• Authors: Zhen Liang, Changyuan Zhao, Wanwei Liu, Bai Xue, Wenjing Yang and Zhengbin Pang
• Abstract要約: ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。 本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。 典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 3.130109807128472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Credit assignment problem of neural networks refers to evaluating the credit of each network component to the final outputs. For an untrained neural network, approaches to tackling it have made great contributions to parameter update and model revolution during the training phase. This problem on trained neural networks receives rare attention, nevertheless, it plays an increasingly important role in neural network patch, specification and verification. Based on Koopman operator theory, this paper presents an alternative perspective of linear dynamics on dealing with the credit assignment problem for trained neural networks. Regarding a neural network as the composition of sub-dynamics series, we utilize step-delay embedding to capture snapshots of each component, characterizing the established mapping as exactly as possible. To circumvent the dimension-difference problem encountered during the embedding, a composition and decomposition of an auxiliary linear layer, termed minimal linear dimension alignment, is carefully designed with rigorous formal guarantee. Afterwards, each component is approximated by a Koopman operator and we derive the Jacobian matrix and its corresponding determinant, similar to backward propagation. Then, we can define a metric with algebraic interpretability for the credit assignment of each network component. Moreover, experiments conducted on typical neural networks demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。 トレーニングされていないニューラルネットワークでは、トレーニングフェーズにおけるパラメータ更新とモデル革命に大きな貢献をしている。 トレーニングされたニューラルネットワークのこの問題は、稀な注目を集めているが、ニューラルネットワークのパッチ、仕様、検証において、ますます重要な役割を果たす。 本稿では,コープマン作用素理論に基づいて,訓練ニューラルネットワークのクレジット割当問題に対する線形ダイナミクスの別の視点を提案する。 ニューラルネットワークをサブダイナミックス系列の構成として用いた場合、ステップ遅延埋め込みを用いて各コンポーネントのスナップショットをキャプチャし、確立したマッピングを可能な限り正確に特徴付ける。 埋設時に発生する寸法差問題を回避するため, 最小線形次元アライメントと呼ばれる補助線形層の組成と分解を厳密な形式的保証で慎重に設計する。 その後、各成分はクープマン作用素によって近似され、後方伝播と同様、ヤコビ行列とその対応する行列式を導出する。 次に、各ネットワークコンポーネントのクレジット割り当てに対して代数的解釈可能性を持つ計量を定義する。 さらに,典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Deep Learning Based Resource Assignment for Wireless Networks [25.138235752143586]
  本稿では,無線ネットワークにおける二項代入問題に対する深層学習手法を提案する。 提案手法の有効性を,様々なシナリオで検証した。
  論文  参考訳（メタデータ） (2021-09-27T11:51:24Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
  本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。 予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。 MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
  論文  参考訳（メタデータ） (2020-02-17T14:16:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。