論文の概要: CausaLM: Causal Model Explanation Through Counterfactual Language Models

• arxiv url: http://arxiv.org/abs/2005.13407v5
• Date: Sat, 12 Nov 2022 15:23:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 07:54:32.148494
• Title: CausaLM: Causal Model Explanation Through Counterfactual Language Models
• Title（参考訳）: CausaLM: 対実言語モデルによる因果モデル記述
• Authors: Amir Feder, Nadav Oved, Uri Shalit, Roi Reichart
• Abstract要約: CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
• 参考スコア（独自算出の注目度）: 33.29636213961804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding predictions made by deep neural networks is notoriously difficult, but also crucial to their dissemination. As all machine learning based methods, they are as good as their training data, and can also capture unwanted biases. While there are tools that can help understand whether such biases exist, they do not distinguish between correlation and causation, and might be ill-suited for text-based models and for reasoning about high level language concepts. A key problem of estimating the causal effect of a concept of interest on a given model is that this estimation requires the generation of counterfactual examples, which is challenging with existing generation technology. To bridge that gap, we propose CausaLM, a framework for producing causal model explanations using counterfactual language representation models. Our approach is based on fine-tuning of deep contextualized embedding models with auxiliary adversarial tasks derived from the causal graph of the problem. Concretely, we show that by carefully choosing auxiliary adversarial pre-training tasks, language representation models such as BERT can effectively learn a counterfactual representation for a given concept of interest, and be used to estimate its true causal effect on model performance. A byproduct of our method is a language representation model that is unaffected by the tested concept, which can be useful in mitigating unwanted bias ingrained in the data.
• Abstract（参考訳）: ディープニューラルネットワークによる予測を理解することは、非常に難しいが、その普及には不可欠である。 すべての機械学習ベースの手法と同様に、トレーニングデータと同じくらい優れており、望ましくないバイアスを捉えることもできる。 このようなバイアスが存在するかどうかを理解するのに役立つツールはあるが、相関関係と因果関係を区別せず、テキストベースのモデルや高レベルの言語概念の推論に不適当かもしれない。 与えられたモデルに対する関心の概念の因果効果を推定する鍵となる問題は、この推定が既存の世代技術では困難である反実例の生成を必要とすることである。 このギャップを埋めるために,反事実言語表現モデルを用いた因果モデル記述のフレームワークであるcausormを提案する。 提案手法は,問題の因果グラフから導かれる補助的逆問題を伴う深層文脈化埋め込みモデルの微調整に基づく。 具体的には, BERT などの言語表現モデルでは, 補助的対向事前学習タスクを慎重に選択することにより, 対象とする概念に対する反実的表現を効果的に学習し, その真の因果関係がモデル性能に与える影響を推定することができることを示す。 提案手法の副産物は,テスト概念の影響を受けない言語表現モデルであり,データ中の不必要なバイアスを緩和するのに有用である。

関連論文リスト

• Counterfactual Generation from Language Models [64.55296662926919]
  対実的推論が介入と概念的に異なることを示す。 そこで本研究では,真の文字列反事実を生成するためのフレームワークを提案する。 我々の実験は、このアプローチが有意義な反事実を生み出すことを示した。
  論文  参考訳（メタデータ） (2024-11-11T17:57:30Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
  観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。 本研究では,観測データからこのような表現を学習するための学習手法を開発した。 理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-10-21T02:18:35Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
  Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。 我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。 この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2021-12-17T20:10:00Z)
• iReason: Multimodal Commonsense Reasoning using Videos and Natural Language with Interpretability [0.0]
  因果的知識は、堅牢なAIシステムを構築する上で不可欠である。 iReasonは、ビデオと自然言語のキャプションの両方を用いて、視覚意味のコモンセンス知識を推論するフレームワークである。
  論文  参考訳（メタデータ） (2021-06-25T02:56:34Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Causal Inference with Deep Causal Graphs [0.0]
  パラメトリック因果モデリング技術は、カウンターファクト推定の機能を提供することはめったにない。 Deep Causal Graphsは、因果分布をモデル化するニューラルネットワークに必要な機能の抽象的な仕様である。 複雑な相互作用をモデル化する上で,その表現力を示し,機械学習の説明可能性と公正性を示す。
  論文  参考訳（メタデータ） (2020-06-15T13:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。