論文の概要: Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis

• arxiv url: http://arxiv.org/abs/2011.12073v1
• Date: Tue, 24 Nov 2020 13:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 13:11:48.401234
• Title: Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis
• Title（参考訳）: bert's brain:representational similarity analysisを用いた文脈的埋め込みにおける言語依存の探索
• Authors: Michael A. Lepori, R. Thomas McCoy
• Abstract要約: 動詞の埋め込みが動詞の主語をエンコードする程度を調べ、代名詞の埋め込みが代名詞の先行語をエンコードし、全文表現が文の見出し語をエンコードする。 いずれの場合も、BERTの文脈的埋め込みは言語依存を反映しており、BERTは言語依存の少ない制御を符号化するよりも、これらの依存をより大きく符号化していることを示す。
• 参考スコア（独自算出の注目度）: 13.016284599828232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the name implies, contextualized representations of language are typically motivated by their ability to encode context. Which aspects of context are captured by such representations? We introduce an approach to address this question using Representational Similarity Analysis (RSA). As case studies, we investigate the degree to which a verb embedding encodes the verb's subject, a pronoun embedding encodes the pronoun's antecedent, and a full-sentence representation encodes the sentence's head word (as determined by a dependency parse). In all cases, we show that BERT's contextualized embeddings reflect the linguistic dependency being studied, and that BERT encodes these dependencies to a greater degree than it encodes less linguistically-salient controls. These results demonstrate the ability of our approach to adjudicate between hypotheses about which aspects of context are encoded in representations of language.
• Abstract（参考訳）: 名前が示すように、文脈化された言語表現は通常、文脈をエンコードする能力によって動機付けられる。 コンテキストのどの側面がそのような表現によって捉えられるのか? 本稿では,Representational similarity Analysis (RSA) を用いてこの問題に対処する手法を提案する。 本研究では,動詞の埋め込みが動詞の主語をエンコードする程度,代名詞の埋め込みが代名詞の先行語をエンコードする程度,全文表現が文の見出し語をエンコードする程度(依存構文で決定される)について検討する。 いずれの場合も、BERTの文脈的埋め込みは言語依存を反映しており、BERTは言語依存の少ない制御を符号化するよりも、これらの依存をより大きく符号化している。 これらの結果は,文脈のどの側面が言語表現にエンコードされているかという仮説の偏りを示す。

関連論文リスト

• Semantics or spelling? Probing contextual word embeddings with orthographic noise [4.622165486890317]
  PLMの隠蔽状態にどのような情報がエンコードされているのかは、正確には分かっていない。 驚いたことに、人気のあるPLMによって生成されるCWEは、入力データのノイズに非常に敏感である。 このことは、CWEが単語レベルの意味とは無関係な情報をキャプチャし、入力データの自明な修正によって操作できることを示唆している。
  論文  参考訳（メタデータ） (2024-08-08T02:07:25Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings [0.0]
  本研究では,意味解析のタスクにおいて,言語モデルと記号意味論の定式化という,言語の意味への最も成功したルートを2つ組み合わせる手法について検討する。 本稿では,事前学習した文脈認識単語の埋め込み(BERTやRoBERTaなど)を解析問題に組み込むことの有用性について検討する。
  論文  参考訳（メタデータ） (2022-06-13T15:05:24Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Do Context-Aware Translation Models Pay the Right Attention? [61.25804242929533]
  コンテキスト対応機械翻訳モデルは文脈情報を活用するように設計されているが、しばしば失敗する。 本稿では,人間の翻訳者が曖昧な単語を解くために使用する文脈について述べる。 SCAT(Supporting Context for Ambiguous Translations)は、14K翻訳のコンテキストワードをサポートする新しい英仏データセットです。 SCATを用いて,支援語の位置的特徴と語彙的特徴をあいまいにするために使用される文脈を詳細に分析する。
  論文  参考訳（メタデータ） (2021-05-14T17:32:24Z)
• Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction [61.4913233397155]
  BERTが言語戦略を用いて合意予測中にRCスパンに関する情報を使用することを示す。 また,特定のRCサブタイプに対して生成された反事実表現が,他のRCサブタイプを含む文の数値予測に影響を及ぼし,RC境界に関する情報がBERTの表現に抽象的に符号化されたことを示唆した。
  論文  参考訳（メタデータ） (2021-05-14T17:11:55Z)
• Deep Subjecthood: Higher-Order Grammatical Features in Multilingual BERT [7.057643880514415]
  MBERT(Multilingual BERT)が文法をエンコードするには,複数言語の埋め込み空間にまたがるモルフォシンタクティックアライメントの高次文法的特徴がどのように現れるかを検討する。
  論文  参考訳（メタデータ） (2021-01-26T19:21:59Z)
• Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
  我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。 係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T17:27:31Z)
• Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve [49.878051587667244]
  名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。 文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。 我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
  論文  参考訳（メタデータ） (2020-04-09T14:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。