論文の概要: Naturalistic Causal Probing for Morpho-Syntax

• arxiv url: http://arxiv.org/abs/2205.07043v1
• Date: Sat, 14 May 2022 11:47:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 15:50:07.733469
• Title: Naturalistic Causal Probing for Morpho-Syntax
• Title（参考訳）: モーフォシンタクスの自然な因果探索
• Authors: Afra Amini, Tiago Pimentel, Clara Meister, Ryan Cotterell
• Abstract要約: スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
• 参考スコア（独自算出の注目度）: 76.83735391276547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probing has become a go-to methodology for interpreting and analyzing deep neural models in natural language processing. Yet recently, there has been much debate around the limitations and weaknesses of probes. In this work, we suggest a naturalistic strategy for input-level intervention on real world data in Spanish, which is a language with gender marking. Using our approach, we isolate morpho-syntactic features from counfounders in sentences, e.g. topic, which will then allow us to causally probe pre-trained models. We apply this methodology to analyze causal effects of gender and number on contextualized representations extracted from pre-trained models -- BERT, RoBERTa and GPT-2. Our experiments suggest that naturalistic intervention can give us stable estimates of causal effects, which varies across different words in a sentence. We further show the utility of our estimator in investigating gender bias in adjectives, and answering counterfactual questions in masked prediction. Our probing experiments highlights the importance of conducting causal probing in determining if a particular property is encoded in representations.
• Abstract（参考訳）: 自然言語処理において深層神経モデルの解釈と解析を行うための手法として,探索法が採用されている。 最近では、プローブの限界と弱点について多くの議論がなされている。 本研究では,ジェンダーマーク付き言語であるスペイン語における実世界データに対する入力レベル介入の自然主義的戦略を提案する。 提案手法を用いることで,共同創設者から文章,例えばトピックを抽出し,事前学習したモデルを因果的に探究することができる。 本手法を用いて,事前学習したモデル(BERT,RoBERTa,GPT-2)から抽出した文脈化表現に対する性別と数字の因果効果を分析する。 我々の実験は、自然主義的介入は、文中の異なる単語にまたがって異なる因果効果の安定した推定をもたらすことを示唆する。 さらに, 形容詞のジェンダーバイアスの調査や, 仮面予測における反事実的質問への回答において, 推定器の有用性を示す。 我々の探索実験は、特定の性質が表現に符号化されているかどうかを決定する上で、因果探索を行うことの重要性を強調している。

関連論文リスト

• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• On the Proper Treatment of Tokenization in Psycholinguistics [53.960910019072436]
  論文は、トークンレベルの言語モデルは、精神言語学研究で使用される前に、文字レベルの言語モデルにマージ化されるべきであると主張している。 興味領域自体のサブプライムよりも心理学的予測が優れている様々な焦点領域を見いだす。
  論文  参考訳（メタデータ） (2024-10-03T17:18:03Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Using Artificial French Data to Understand the Emergence of Gender Bias in Transformer Language Models [5.22145960878624]
  この研究は、神経モデルがジェンダーなどの単語の言語的性質や、その使用法を規定する規則をいかに発見するかという、あまり研究されていないトピックを探求するための最初のステップである。 本稿では,フランス語をベースとしたPCFGが生成した人工コーパスを用いて,トレーニングデータ中の性別分布を正確に制御し,モデルが正しく性別情報をキャプチャした条件を決定することを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:08:37Z)
• CUE: An Uncertainty Interpretation Framework for Text Classifiers Built on Pre-Trained Language Models [28.750894873827068]
  本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。 摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
  論文  参考訳（メタデータ） (2023-06-06T11:37:46Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Explaining Face Presentation Attack Detection Using Natural Language [24.265611015740287]
  本稿では,自然言語による顔提示攻撃予測について説明する。 提案手法は,PADモデルの深い層の特徴表現を言語モデルに渡して,PAD予測の背後にある推論を記述したテキストを生成する。 本稿では, 単語単位のクロスエントロピー損失, 文識別的損失, 文意味的損失など, 生成した説明の質が, 異なる損失関数にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2021-11-08T22:55:55Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)
• Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
  調査結果から行動学的結論を推測できない点を指摘する。 我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-01T15:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。