論文の概要: Inducing Causal Structure for Interpretable Neural Networks
- arxiv url: http://arxiv.org/abs/2112.00826v1
- Date: Wed, 1 Dec 2021 21:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-04 09:32:45.855073
- Title: Inducing Causal Structure for Interpretable Neural Networks
- Title（参考訳）: 解釈可能なニューラルネットワークの因果構造誘導
- Authors: Atticus Geiger, Zhengxuan Wu, Hanson Lu, Josh Rozner, Elisa Kreiss,
Thomas Icard, Noah D. Goodman, Christopher Potts
- Abstract要約: インターチェンジ・インターチェンジ・トレーニング(IIT)について紹介する。
In IIT, (1)align variables in the causal model with representations in the Neural model and (2) training a neural model to match the counterfactual behavior of the causal model on a base input。
IITは完全に微分可能で、柔軟に他の目的と組み合わせ、ターゲット因果モデルがニューラルネットワークの因果抽象化であることを保証します。
- 参考スコア（独自算出の注目度）: 23.68246698789134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many areas, we have well-founded insights about causal structure that
would be useful to bring into our trained models while still allowing them to
learn in a data-driven fashion. To achieve this, we present the new method of
interchange intervention training(IIT). In IIT, we (1)align variables in the
causal model with representations in the neural model and (2) train a neural
model to match the counterfactual behavior of the causal model on a base input
when aligned representations in both models are set to be the value they would
be for a second source input. IIT is fully differentiable, flexibly combines
with other objectives, and guarantees that the target causal model is acausal
abstraction of the neural model when its loss is minimized. We evaluate IIT on
a structured vision task (MNIST-PVR) and a navigational instruction task
(ReaSCAN). We compare IIT against multi-task training objectives and data
augmentation. In all our experiments, IIT achieves the best results and
produces neural models that are more interpretable in the sense that they
realize the target causal model.
- Abstract（参考訳）: 多くの分野において、トレーニングされたモデルに持ち込みながら、データ駆動の方法で学習できるような因果構造についての十分な洞察が得られています。
そこで,本稿では,交流介入訓練(iit)の新たな方法を提案する。
iitでは、(1)因果モデルにおける変数とニューラルネットワークの表現を区別し、(2)二つのモデルのアラインメント表現が第2のソース入力の値となるように設定された場合、ベース入力における因果モデルの反事実的振舞いにマッチするようにニューラルネットワークを訓練する。
IITは完全に微分可能で、他の目的と柔軟に結合し、目標因果モデルが損失を最小限に抑えた場合、ニューラルネットワークの因果抽象化であることを保証します。
構造化視覚タスク(MNIST-PVR)とナビゲーション命令タスク(ReaSCAN)に基づいてIITを評価する。
IITとマルチタスクトレーニングの目標とデータ拡張を比較した。
全ての実験において、IITは最良の結果を得て、ターゲット因果モデルを実現するという意味でより解釈可能なニューラルモデルを生成する。
関連論文リスト
- Bidirectional Awareness Induction in Autoregressive Seq2Seq Models [47.82947878753809]
双方向認識誘導(BAI)は、ネットワーク内の要素のサブセットであるPivotsを利用して、自己回帰的制約を破ることなく双方向学習を行う訓練手法である。
特に,イメージキャプションでは2.4CIDEr,ニューラルマシン翻訳では4.96BLEU,テキスト要約では1.16ROUGEの増加が確認された。
論文 参考訳（メタデータ） (2024-08-25T23:46:35Z) - Downstream Task-Oriented Generative Model Selections on Synthetic Data
Training for Fraud Detection Models [9.754400681589845]
本稿では,学習不正検出モデルにおける下流タスク指向生成モデル選択問題にアプローチする。
本研究は,ニューラルネットワーク(NN)とベイジアンネットワーク(BN)をベースとした生成モデルの両方が,ゆるやかなモデル解釈可能性制約下での合成トレーニングタスクの完了に適しているが,BNベースの生成モデルは,厳密なモデル解釈可能性制約下での合成トレーニング不正検出モデルにおいて,NNベースより優れていることを裏付けるものである。
論文 参考訳（メタデータ） (2024-01-01T23:33:56Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。
タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文 参考訳（メタデータ） (2022-04-03T02:29:11Z) - Deep Learning Reproducibility and Explainable AI (XAI) [9.13755431537592]
ディープラーニング(DL)学習アルゴリズムの非決定性とそのニューラルネットワーク(NN)モデルの説明可能性への影響について検討した。
この問題について議論するため、2つの畳み込みニューラルネットワーク(CNN)をトレーニングし、その結果を比較した。
論文 参考訳（メタデータ） (2022-02-23T12:06:20Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Multi-Branch Deep Radial Basis Function Networks for Facial Emotion
Recognition [80.35852245488043]
放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。
RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。
提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
論文 参考訳（メタデータ） (2021-09-07T21:05:56Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Adaptive Explainable Neural Networks (AxNNs) [8.949704905866888]
我々は、予測性能とモデル解釈可能性の両目標を達成するために、Adaptive Explainable Neural Networks (AxNN) と呼ばれる新しいフレームワークを開発した。
予測性能向上のために,一般化された付加的モデルネットワークと付加的インデックスモデルからなる構造化ニューラルネットワークを構築した。
本稿では,AxNNの結果を主効果と高次相互作用効果に分解する方法を示す。
論文 参考訳（メタデータ） (2020-04-05T23:40:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。