論文の概要: Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals
- arxiv url: http://arxiv.org/abs/2006.00995v3
- Date: Fri, 19 Feb 2021 09:01:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 07:08:00.198704
- Title: Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals
- Title（参考訳）: amnesic probing: amnesic counterfactualsによる行動説明
- Authors: Yanai Elazar, Shauli Ravfogel, Alon Jacovi, Yoav Goldberg
- Abstract要約: 調査結果から行動学的結論を推測できない点を指摘する。
我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
- 参考スコア（独自算出の注目度）: 53.484562601127195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A growing body of work makes use of probing to investigate the working of
neural models, often considered black boxes. Recently, an ongoing debate
emerged surrounding the limitations of the probing paradigm. In this work, we
point out the inability to infer behavioral conclusions from probing results
and offer an alternative method that focuses on how the information is being
used, rather than on what information is encoded. Our method, Amnesic Probing,
follows the intuition that the utility of a property for a given task can be
assessed by measuring the influence of a causal intervention that removes it
from the representation. Equipped with this new analysis tool, we can ask
questions that were not possible before, e.g. is part-of-speech information
important for word prediction? We perform a series of analyses on BERT to
answer these types of questions. Our findings demonstrate that conventional
probing performance is not correlated to task importance, and we call for
increased scrutiny of claims that draw behavioral or causal conclusions from
probing results.
- Abstract（参考訳）: 増大する研究体は、しばしばブラックボックスと見なされる神経モデルの働きを調査するためにプローブを利用する。
最近、調査パラダイムの限界に関する議論が進行中である。
本研究では, 探索結果から行動結論を推測できないことを指摘し, 情報を符号化するのではなく, 情報がどのように使われているかに着目した代替手法を提案する。
本手法は,与えられたタスクに対する特性の有用性を,その表現から取り除く因果的介入の影響を測定することによって評価できるという直観に従うものである。
この新たな分析ツールを組み込んで,これまで不可能だった質問を問うことができる。例えば,単語の予測には音声の一部が重要か?
このような疑問に答えるために、BERTで一連の分析を行う。
以上の結果から,従来の調査性能はタスク重要度と相関しないことを示し,調査結果から行動的・因果的結論を引き出すクレームの精査を要請した。
関連論文リスト
- Unsupervised Pairwise Causal Discovery on Heterogeneous Data using Mutual Information Measures [49.1574468325115]
因果発見(Causal Discovery)は、構成変数の統計的性質を分析することで、この問題に取り組む手法である。
教師付き学習によって得られたことに基づいて,現在の(おそらく誤解を招く)ベースライン結果に疑問を呈する。
その結果、堅牢な相互情報測定を用いて、教師なしの方法でこの問題にアプローチする。
論文 参考訳（メタデータ） (2024-08-01T09:11:08Z) - CausalGym: Benchmarking causal interpretability methods on linguistic
tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。
ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。
DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文 参考訳（メタデータ） (2024-02-19T21:35:56Z) - Explaining Veracity Predictions with Evidence Summarization: A
Multi-Task Model Approach [1.223779595809275]
誤情報検出のためのマルチタスク説明可能なニューラルモデルを提案する。
具体的には、本研究は、テキスト要約問題としてモデルの妥当性予測の説明生成過程を定式化する。
提案モデルの性能を公開データセットで検討し,関連する研究結果と比較した。
論文 参考訳（メタデータ） (2024-02-09T14:39:20Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z) - Disentangled Representation for Causal Mediation Analysis [25.114619307838602]
因果媒介分析(英: Causal mediation analysis)は、直接的および間接的な効果を明らかにするためにしばしば用いられる方法である。
深層学習はメディエーション分析において有望であるが、現在の手法では、治療、メディエーター、結果に同時に影響を及ぼす潜在的共同創設者のみを前提としている。
そこで本研究では,助成金の表現を3つのタイプに分けて,自然的直接効果,自然間接効果,および全効果を正確に推定する,ディスタングル・メディエーション分析変分自動エンコーダ(DMAVAE)を提案する。
論文 参考訳（メタデータ） (2023-02-19T23:37:17Z) - Active Bayesian Causal Inference [72.70593653185078]
因果発見と推論を統合するための完全ベイズ能動学習フレームワークであるアクティブベイズ因果推論(ABCI)を提案する。
ABCIは因果関係のモデルと関心のクエリを共同で推論する。
我々のアプローチは、完全な因果グラフの学習のみに焦点を当てた、いくつかのベースラインよりも、よりデータ効率が高いことを示す。
論文 参考訳（メタデータ） (2022-06-04T22:38:57Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳（メタデータ） (2022-05-14T11:47:58Z) - An introduction to causal reasoning in health analytics [2.199093822766999]
従来の機械学習と統計的アプローチで発生する可能性のある欠点のいくつかを強調して、観測データを分析します。
一般的な機械学習問題に対処するための因果推論の応用を実演する。
論文 参考訳（メタデータ） (2021-05-10T20:25:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。