論文の概要: Exploring the Role of BERT Token Representations to Explain Sentence Probing Results

• arxiv url: http://arxiv.org/abs/2104.01477v1
• Date: Sat, 3 Apr 2021 20:40:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:44:25.437116
• Title: Exploring the Role of BERT Token Representations to Explain Sentence Probing Results
• Title（参考訳）: 説明文探索結果におけるBERTトークン表現の役割を探る
• Authors: Hosein Mohebbi, Ali Modarressi, Mohammad Taher Pilehvar
• Abstract要約: BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
• 参考スコア（独自算出の注目度）: 15.652077779677091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several studies have been carried out on revealing linguistic features captured by BERT. This is usually achieved by training a diagnostic classifier on the representations obtained from different layers of BERT. The subsequent classification accuracy is then interpreted as the ability of the model in encoding the corresponding linguistic property. Despite providing insights, these studies have left out the potential role of token representations. In this paper, we provide an analysis on the representation space of BERT in search for distinct and meaningful subspaces that can explain probing results. Based on a set of probing tasks and with the help of attribution methods we show that BERT tends to encode meaningful knowledge in specific token representations (which are often ignored in standard classification setups), allowing the model to detect syntactic and semantic abnormalities, and to distinctively separate grammatical number and tense subspaces.
• Abstract（参考訳）: バートが捉えた言語的特徴を明らかにする研究がいくつか行われている。 これは通常、BERTの異なる層から得られた表現について診断分類器を訓練することで達成される。 その後の分類精度は、対応する言語特性を符号化するモデルの能力として解釈される。 洞察を提供するにもかかわらず、これらの研究はトークン表現の潜在的な役割を排除した。 本稿では,探索結果を説明するための特異かつ有意義な部分空間を求めて,bert の表現空間の解析を行う。 探索タスクのセットと帰属手法の助けを借りて、BERTは特定のトークン表現(標準分類設定では無視されることが多い)において意味のある知識を符号化し、モデルが構文的および意味的異常を検知し、文法的数とテンソル部分空間を区別する傾向があることを示す。

関連論文リスト

• A Study on How Attention Scores in the BERT Model are Aware of Lexical Categories in Syntactic and Semantic Tasks on the GLUE Benchmark [0.0]
  本研究では,下流タスクの微調整過程において,BERTモデルのトークン間の注意スコアが語彙カテゴリによって大きく異なるかを検討する。 本仮説は, 意味情報を優先する下流作業においては, 内容語を中心とした注意スコアが強化され, 統語的情報を重視する場合には, 機能語を中心とした注意スコアが強化されることを示唆する。
  論文  参考訳（メタデータ） (2024-03-25T06:18:18Z)
• What does BERT learn about prosody? [1.1548853370822343]
  モデルが学習する言語の構造情報に韻律が組み込まれているかどうかを考察する。 以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層に主眼を置いていることから,BERTは構文情報や意味情報に大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2023-04-25T10:34:56Z)
• Word-order typology in Multilingual BERT: A case study in subordinate-clause detection [1.2129015549576372]
  本稿では,これらの特性を探索するために,言語内および言語間における従属クラス検出の課題を用いる。 本稿では,この課題は極めて単純で,難解なケースの長い尾で容易に相反し,BERTのゼロショット性能は単語順効果に支配されていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T11:35:39Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification [87.28408260725138]
  TIGANは、テキストを離散コードと連続ノイズを含む2つの非絡み合った表現にエンコードすることを学ぶ。 抽出したトピックの単語は,TIGANが一貫性と高度に解釈可能なトピックを学習していることを示している。
  論文  参考訳（メタデータ） (2020-04-28T02:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。