論文の概要: Explaining Local, Global, And Higher-Order Interactions In Deep Learning

• arxiv url: http://arxiv.org/abs/2006.08601v4
• Date: Fri, 24 Sep 2021 16:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:21:20.413819
• Title: Explaining Local, Global, And Higher-Order Interactions In Deep Learning
• Title（参考訳）: 深層学習における局所的・グローバル的・高次相互作用の解説
• Authors: Samuel Lerman, Chenliang Xu, Charles Venuto, Henry Kautz
• Abstract要約: 我々は,個々の特徴間の統計的相互作用効果を計算するために,クロスデリバティブに基づくアルゴリズムを設計する。 ニューラルネットワークにおける説明装置としてのクロスデリバティブの使用をGrad-CAMを拡張してコンピュータビジョン設定に拡張する。 我々は,ユーザスタディを含む質的かつ定量的な説明が成功していることを示す。
• 参考スコア（独自算出の注目度）: 28.847380600838058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a simple yet highly generalizable method for explaining interacting parts within a neural network's reasoning process. First, we design an algorithm based on cross derivatives for computing statistical interaction effects between individual features, which is generalized to both 2-way and higher-order (3-way or more) interactions. We present results side by side with a weight-based attribution technique, corroborating that cross derivatives are a superior metric for both 2-way and higher-order interaction detection. Moreover, we extend the use of cross derivatives as an explanatory device in neural networks to the computer vision setting by expanding Grad-CAM, a popular gradient-based explanatory tool for CNNs, to the higher order. While Grad-CAM can only explain the importance of individual objects in images, our method, which we call Taylor-CAM, can explain a neural network's relational reasoning across multiple objects. We show the success of our explanations both qualitatively and quantitatively, including with a user study. We will release all code as a tool package to facilitate explainable deep learning.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの推論プロセス内で相互作用する部分を説明するための,シンプルで一般化可能な手法を提案する。 まず、各特徴間の統計的相互作用効果を計算するためのクロスデリバティブに基づくアルゴリズムを設計し、2方向および高次(3方向以上)の相互作用に一般化する。 本研究では,重みに基づく帰属法と並行して,交叉導関数は双方向および高次相互作用検出において優れた指標であることを示す。 さらに,cnn用勾配型説明ツールgrad-camを高次に拡張することにより,ニューラルネットワークにおける説明装置としてのクロスデリバティブの利用をコンピュータビジョン設定に拡張した。 Grad-CAMは画像における個々のオブジェクトの重要性しか説明できないが、Taylor-CAMと呼ばれる我々の手法は、ニューラルネットワークの複数のオブジェクト間のリレーショナル推論を説明することができる。 我々は,ユーザスタディを含む質的かつ定量的な説明が成功することを示す。 説明可能なディープラーニングを容易にするために、すべてのコードをツールパッケージとしてリリースします。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Linking in Style: Understanding learned features in deep learning models [0.0]
  畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。 本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:28:48Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Learning on Arbitrary Graph Topologies via Predictive Coding [38.761663028090204]
  任意のグラフトポロジで推論と学習を行うために,予測符号化がどのように使用できるかを示す。 我々は、PCグラフと呼ばれるこの定式化が、同じネットワークで異なるタスクを柔軟に実行するためにどのように使用できるかを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-31T12:43:22Z)
• DIAL: Deep Interactive and Active Learning for Semantic Segmentation in Remote Sensing [34.209686918341475]
  我々は、ディープニューラルネットワークと人間のループでの協調を構築することを提案する。 簡単に言うと、エージェントはネットワークと反復的に対話して、当初欠陥があった予測を修正する。 本研究では,不確実性推定に基づくアクティブラーニングにより,ユーザを迅速に誤りに導くことができることを示す。
  論文  参考訳（メタデータ） (2022-01-04T09:11:58Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Expressive Power and Loss Surfaces of Deep Learning Models [0.0]
  本稿では,ディープラーニングモデルの動作に関する解説チュートリアルとして機能する。 2つ目の目標は、ディープラーニングモデルの表現力に関する現在の結果を、新しい洞察と結果で補完することである。
  論文  参考訳（メタデータ） (2021-08-08T06:28:09Z)
• Where2Act: From Pixels to Actions for Articulated 3D Objects [54.19638599501286]
  可動部を有する関節物体の押出しや引抜き等の基本動作に関連する高度に局所化された動作可能な情報を抽出する。 シミュレーションでネットワークをトレーニングできるオンラインデータサンプリング戦略を備えた学習から対話までのフレームワークを提案します。 私たちの学習モデルは、現実世界のデータにも転送します。
  論文  参考訳（メタデータ） (2021-01-07T18:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。