論文の概要: Obtaining Faithful Interpretations from Compositional Neural Networks

• arxiv url: http://arxiv.org/abs/2005.00724v2
• Date: Tue, 8 Sep 2020 15:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 11:32:41.600389
• Title: Obtaining Faithful Interpretations from Compositional Neural Networks
• Title（参考訳）: 合成ニューラルネットワークから忠実な解釈を得る
• Authors: Sanjay Subramanian, Ben Bogin, Nitish Gupta, Tomer Wolfson, Sameer Singh, Jonathan Berant, Matt Gardner
• Abstract要約: NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
• 参考スコア（独自算出の注目度）: 72.41100663462191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural module networks (NMNs) are a popular approach for modeling compositionality: they achieve high accuracy when applied to problems in language and vision, while reflecting the compositional structure of the problem in the network architecture. However, prior work implicitly assumed that the structure of the network modules, describing the abstract reasoning process, provides a faithful explanation of the model's reasoning; that is, that all modules perform their intended behaviour. In this work, we propose and conduct a systematic evaluation of the intermediate outputs of NMNs on NLVR2 and DROP, two datasets which require composing multiple reasoning steps. We find that the intermediate outputs differ from the expected output, illustrating that the network structure does not provide a faithful explanation of model behaviour. To remedy that, we train the model with auxiliary supervision and propose particular choices for module architecture that yield much better faithfulness, at a minimal cost to accuracy.
• Abstract（参考訳）: ニューラルモジュールネットワーク(nmns)は合成性をモデル化する一般的なアプローチであり、ネットワークアーキテクチャにおける問題の構成構造を反映しながら、言語や視覚の問題に適用することで高い精度を達成する。 しかしながら、事前の作業では、抽象的推論プロセスを記述するネットワークモジュールの構造が、モデルの推論の忠実な説明、すなわち、すべてのモジュールが意図した振る舞いを実行することを暗黙的に仮定している。 本研究では,NLVR2とDROPにおけるNMNの中間出力の系統的評価を行い,複数の推論ステップの合成を必要とする2つのデータセットを提案する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。 そこで、我々は補助的な監督でモデルを訓練し、精度を最小限に抑えながら、より優れた忠実性をもたらすモジュールアーキテクチャの特定の選択を提案する。

関連論文リスト

• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Jointly-Learned Exit and Inference for a Dynamic Neural Network : JEI-DNN [20.380620709345898]
  早期排他的動的ニューラルネットワーク(EDNN)は、中間層(即ち早期排他)からの予測の一部をモデルが行うことを可能にする。 EDNNアーキテクチャのトレーニングは、初期出力決定を制御するゲーティング機構(GM)と中間表現からの推論を実行する中間推論モジュール(IM)の2つのコンポーネントで構成されるため、難しい。 本稿では,これら2つのモジュールを接続する新しいアーキテクチャを提案する。これにより分類データセットの性能が大幅に向上し,不確実性評価機能の向上が期待できる。
  論文  参考訳（メタデータ） (2023-10-13T14:56:38Z)
• DProtoNet: Decoupling the inference module and the explanation module enables neural networks to have better accuracy and interpretability [5.333582981327497]
  従来の方法では、ニューラルネットワークのアーキテクチャを変更することで、ネットワークは人間の推論プロセスをシミュレートする。 本稿では,DProtoNet(Decoupling Prototypeal Network)を提案する。 解釈モジュールからニューラルネットワーク推論モジュールを分離し、解釈可能なネットワークの特定のアーキテクチャ上の制限を取り除く。
  論文  参考訳（メタデータ） (2022-10-15T17:05:55Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• Latent Network Embedding via Adversarial Auto-encoders [15.656374849760734]
  本稿では,逆グラフ自動エンコーダに基づく潜在ネットワーク埋め込みモデルを提案する。 この枠組みの下では、潜伏構造を発見する問題は、部分的な観測から潜伏関係を推測するものとして定式化されている。
  論文  参考訳（メタデータ） (2021-09-30T16:49:46Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Visual Concept Reasoning Networks [93.99840807973546]
  分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。 我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。 提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
  論文  参考訳（メタデータ） (2020-08-26T20:02:40Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。