論文の概要: Causal Abstraction for Faithful Model Interpretation
- arxiv url: http://arxiv.org/abs/2301.04709v1
- Date: Wed, 11 Jan 2023 20:42:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 14:19:55.535395
- Title: Causal Abstraction for Faithful Model Interpretation
- Title(参考訳): 忠実なモデル解釈のための因果的抽象化
- Authors: Atticus Geiger and Chris Potts and Thomas Icard
- Abstract要約: AIモデルの振る舞いと内部構造に関する忠実で解釈可能な説明は、人間には理解できないが、既知のが、しばしば不透明な低レベルの因果関係の詳細と矛盾する高レベルな説明である。
因果的抽象分析では、モデル内部の状態に対する介入を用いて、解釈可能な高レベル因果的モデルがAIモデルの忠実な記述であるかどうかを厳格に評価する。
- 参考スコア(独自算出の注目度): 7.3185771983295185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A faithful and interpretable explanation of an AI model's behavior and
internal structure is a high-level explanation that is human-intelligible but
also consistent with the known, but often opaque low-level causal details of
the model. We argue that the theory of causal abstraction provides the
mathematical foundations for the desired kinds of model explanations. In causal
abstraction analysis, we use interventions on model-internal states to
rigorously assess whether an interpretable high-level causal model is a
faithful description of an AI model. Our contributions in this area are: (1) We
generalize causal abstraction to cyclic causal structures and typed high-level
variables. (2) We show how multi-source interchange interventions can be used
to conduct causal abstraction analyses. (3) We define a notion of approximate
causal abstraction that allows us to assess the degree to which a high-level
causal model is a causal abstraction of a lower-level one. (4) We prove
constructive causal abstraction can be decomposed into three operations we
refer to as marginalization, variable-merge, and value-merge. (5) We formalize
the XAI methods of LIME, causal effect estimation, causal mediation analysis,
iterated nullspace projection, and circuit-based explanations as special cases
of causal abstraction analysis.
- Abstract(参考訳): aiモデルの振る舞いと内部構造に関する忠実で解釈可能な説明は、人間の知性は高いが、既知の、しかししばしば不透明なモデルの因果的詳細と一致している高レベルの説明である。
因果的抽象の理論は、望ましいモデル説明の数学的基礎を提供すると主張する。
因果抽象化解析では、モデル内部の状態に対する介入を用いて、解釈可能な高レベル因果モデルがAIモデルの忠実な記述であるかどうかを厳格に評価する。
1) 因果抽象を循環因果構造と型付き高レベル変数に一般化する。
2) 因果的抽象分析を行うためにマルチソースインターチェンジをいかに活用できるかを示す。
(3)高次因果モデルが下位レベルの因果的抽象化の因果的抽象化である程度を評価することができるような因果的抽象化の概念を定義する。
(4) 構成因果抽象は, 余剰化, 変数マージ, 値マージの3つの操作に分解できることを示す。
(5) LIME, 因果効果推定, 因果媒介分析, 繰り返しヌル空間投影, 回路に基づく説明のXAI法を因果抽象解析の特別な場合として定式化する。
関連論文リスト
- Neural Causal Abstractions [63.21695740637627]
我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。
本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。
本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
論文 参考訳(メタデータ) (2024-01-05T02:00:27Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - Finding Alignments Between Interpretable Causal Variables and
Distributed Neural Representations [62.65877150123775]
因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。
既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。
これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
論文 参考訳(メタデータ) (2023-03-05T00:57:49Z) - MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。
推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。
この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
論文 参考訳(メタデータ) (2022-10-22T16:01:13Z) - Towards Computing an Optimal Abstraction for Structural Causal Models [16.17846886492361]
我々は抽象学習の問題に焦点をあてる。
我々は,情報損失の具体的な尺度を提案し,その新しい抽象化の学習への貢献について説明する。
論文 参考訳(メタデータ) (2022-08-01T14:35:57Z) - Explaining Causal Models with Argumentation: the Case of Bi-variate
Reinforcement [15.947501347927687]
因果モデルから議論フレームワーク(AF)を生成するための概念化を導入する。
この概念化は、AFの意味論の望ましい性質を説明型として再解釈することに基づいている。
我々はこれらの論証的説明の理論的評価を行い、それらが望ましい説明的および論証的特性の範囲を満たすかどうかを検討する。
論文 参考訳(メタデータ) (2022-05-23T19:39:51Z) - Markov categories, causal theories, and the do-calculus [7.061298918159947]
我々は、有向非巡回グラフ(DAG)上の因果推論の構文を形式化する因果モデルのカテゴリー理論的扱いを与える。
この枠組みは、抽象的かつ「純粋に因果的」の観点から因果的推論において重要な概念を定義し、研究することを可能にする。
論文 参考訳(メタデータ) (2022-04-11T01:27:41Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳(メタデータ) (2021-09-06T14:52:58Z) - Systematic Evaluation of Causal Discovery in Visual Model Based
Reinforcement Learning [76.00395335702572]
AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。
因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。
本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
論文 参考訳(メタデータ) (2021-07-02T05:44:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。