論文の概要: Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction

• arxiv url: http://arxiv.org/abs/2105.06965v1
• Date: Fri, 14 May 2021 17:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 14:07:30.366472
• Title: Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction
• Title（参考訳）: 相対的なクロース表現の因果関係が合意予測に及ぼす影響を否定する対人的介入
• Authors: Shauli Ravfogel, Grusha Prasad, Tal Linzen, Yoav Goldberg
• Abstract要約: BERTが言語戦略を用いて合意予測中にRCスパンに関する情報を使用することを示す。 また,特定のRCサブタイプに対して生成された反事実表現が,他のRCサブタイプを含む文の数値予測に影響を及ぼし,RC境界に関する情報がBERTの表現に抽象的に符号化されたことを示唆した。
• 参考スコア（独自算出の注目度）: 61.4913233397155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When language models process syntactically complex sentences, do they use abstract syntactic information present in these sentences in a manner that is consistent with the grammar of English, or do they rely solely on a set of heuristics? We propose a method to tackle this question, AlterRep. For any linguistic feature in the sentence, AlterRep allows us to generate counterfactual representations by altering how this feature is encoded, while leaving all other aspects of the original representation intact. Then, by measuring the change in a models' word prediction with these counterfactual representations in different sentences, we can draw causal conclusions about the contexts in which the model uses the linguistic feature (if any). Applying this method to study how BERT uses relative clause (RC) span information, we found that BERT uses information about RC spans during agreement prediction using the linguistically strategy. We also found that counterfactual representations generated for a specific RC subtype influenced the number prediction in sentences with other RC subtypes, suggesting that information about RC boundaries was encoded abstractly in BERT's representation.
• Abstract（参考訳）: 言語モデルが構文的に複雑な文を処理する場合、これらの文に存在する抽象構文情報は英語の文法と一致しているか、それともヒューリスティックのセットのみに依存しているのか? 本稿では,この問題に対処する手法AlterRepを提案する。 文中の任意の言語的特徴に対して、alterrepは、この特徴がどのようにエンコードされるかを変更しながら、元の表現の他のすべての側面をそのままにすることで、偽の表現を生成することができる。 そして、異なる文におけるこれらの反事実表現を用いてモデルの単語予測の変化を測定することにより、モデルが言語的特徴を使用する文脈について(もしあれば)因果的結論を導き出すことができる。 この手法を用いて,BERT が相対節(RC)をいかに情報に当てはめているかを調べることで,言語戦略を用いた合意予測において,BERT が RC に関する情報を使用することがわかった。 また,特定のRCサブタイプに対して生成された反事実表現が,他のRCサブタイプを含む文の数値予測に影響を及ぼし,RC境界に関する情報がBERTの表現に抽象的に符号化されたことを示唆した。

関連論文リスト

• Attribution analysis of legal language as used by LLM [0.0]
  公開可能な2つの法的データセット、より単純な二項分類タスク、および保持者の司法判断を特定するためのより精巧な複数の選択タスクを使用します。 すべてのモデルがケースホールドタスクからテスト例を正しく分類しているのに対して、他の例は1つ、モデル、属性のみによってのみ識別できる。
  論文  参考訳（メタデータ） (2025-01-28T22:48:29Z)
• A Practical Method for Generating String Counterfactuals [106.98481791980367]
  言語モデル(LM)の表現空間をターゲットとした介入は、モデル行動に影響を与える効果的な手段として現れてきた。 表現反事実を文字列反事実に変換する方法を提案する。 結果として生じるカウンターファクトは、データ拡張による分類のバイアスを軽減するために使用することができる。
  論文  参考訳（メタデータ） (2024-02-17T18:12:02Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• Probing for targeted syntactic knowledge through grammatical error detection [13.653209309144593]
  本稿では,事前学習した英語モデルを評価するために,文法的誤り検出を診断プローブとして提案する。 我々は、英語の第二言語学習者とウィキペディアの編集の両方から、公的な注釈付きトレーニングデータを活用する。 マスク付き言語モデルでは,SVAエラー検出に関連する情報を線形に符号化し,自動回帰モデルはベースラインと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2022-10-28T16:01:25Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis [13.016284599828232]
  動詞の埋め込みが動詞の主語をエンコードする程度を調べ、代名詞の埋め込みが代名詞の先行語をエンコードし、全文表現が文の見出し語をエンコードする。 いずれの場合も、BERTの文脈的埋め込みは言語依存を反映しており、BERTは言語依存の少ない制御を符号化するよりも、これらの依存をより大きく符号化していることを示す。
  論文  参考訳（メタデータ） (2020-11-24T13:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。