論文の概要: Naturalistic Causal Probing for Morpho-Syntax
- arxiv url: http://arxiv.org/abs/2205.07043v1
- Date: Sat, 14 May 2022 11:47:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 15:50:07.733469
- Title: Naturalistic Causal Probing for Morpho-Syntax
- Title(参考訳): モーフォシンタクスの自然な因果探索
- Authors: Afra Amini, Tiago Pimentel, Clara Meister, Ryan Cotterell
- Abstract要約: スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
- 参考スコア(独自算出の注目度): 76.83735391276547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probing has become a go-to methodology for interpreting and analyzing deep
neural models in natural language processing. Yet recently, there has been much
debate around the limitations and weaknesses of probes. In this work, we
suggest a naturalistic strategy for input-level intervention on real world data
in Spanish, which is a language with gender marking. Using our approach, we
isolate morpho-syntactic features from counfounders in sentences, e.g. topic,
which will then allow us to causally probe pre-trained models. We apply this
methodology to analyze causal effects of gender and number on contextualized
representations extracted from pre-trained models -- BERT, RoBERTa and GPT-2.
Our experiments suggest that naturalistic intervention can give us stable
estimates of causal effects, which varies across different words in a sentence.
We further show the utility of our estimator in investigating gender bias in
adjectives, and answering counterfactual questions in masked prediction. Our
probing experiments highlights the importance of conducting causal probing in
determining if a particular property is encoded in representations.
- Abstract(参考訳): 自然言語処理において深層神経モデルの解釈と解析を行うための手法として,探索法が採用されている。
最近では、プローブの限界と弱点について多くの議論がなされている。
本研究では,ジェンダーマーク付き言語であるスペイン語における実世界データに対する入力レベル介入の自然主義的戦略を提案する。
提案手法を用いることで,共同創設者から文章,例えばトピックを抽出し,事前学習したモデルを因果的に探究することができる。
本手法を用いて,事前学習したモデル(BERT,RoBERTa,GPT-2)から抽出した文脈化表現に対する性別と数字の因果効果を分析する。
我々の実験は、自然主義的介入は、文中の異なる単語にまたがって異なる因果効果の安定した推定をもたらすことを示唆する。
さらに, 形容詞のジェンダーバイアスの調査や, 仮面予測における反事実的質問への回答において, 推定器の有用性を示す。
我々の探索実験は、特定の性質が表現に符号化されているかどうかを決定する上で、因果探索を行うことの重要性を強調している。
関連論文リスト
- Using Artificial French Data to Understand the Emergence of Gender Bias
in Transformer Language Models [5.22145960878624]
この研究は、神経モデルがジェンダーなどの単語の言語的性質や、その使用法を規定する規則をいかに発見するかという、あまり研究されていないトピックを探求するための最初のステップである。
本稿では,フランス語をベースとしたPCFGが生成した人工コーパスを用いて,トレーニングデータ中の性別分布を正確に制御し,モデルが正しく性別情報をキャプチャした条件を決定することを提案する。
論文 参考訳(メタデータ) (2023-10-24T14:08:37Z) - CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models [28.750894873827068]
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
論文 参考訳(メタデータ) (2023-06-06T11:37:46Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳(メタデータ) (2023-01-15T03:13:09Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Explaining Face Presentation Attack Detection Using Natural Language [24.265611015740287]
本稿では,自然言語による顔提示攻撃予測について説明する。
提案手法は,PADモデルの深い層の特徴表現を言語モデルに渡して,PAD予測の背後にある推論を記述したテキストを生成する。
本稿では, 単語単位のクロスエントロピー損失, 文識別的損失, 文意味的損失など, 生成した説明の質が, 異なる損失関数にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2021-11-08T22:55:55Z) - The World of an Octopus: How Reporting Bias Influences a Language
Model's Perception of Color [73.70233477125781]
報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。
次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
論文 参考訳(メタデータ) (2021-10-15T16:28:17Z) - Double Perturbation: On the Robustness of Robustness and Counterfactual
Bias Evaluation [109.06060143938052]
テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。
この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
論文 参考訳(メタデータ) (2021-04-12T06:57:36Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。
これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。
この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
論文 参考訳(メタデータ) (2020-11-28T00:46:43Z) - Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
調査結果から行動学的結論を推測できない点を指摘する。
我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
論文 参考訳(メタデータ) (2020-06-01T15:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。