論文の概要: Have Attention Heads in BERT Learned Constituency Grammar?

• arxiv url: http://arxiv.org/abs/2102.07926v1
• Date: Tue, 16 Feb 2021 02:31:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:07:43.068237
• Title: Have Attention Heads in BERT Learned Constituency Grammar?
• Title（参考訳）: BERTの関心のヘッドはコンスティテンシー文法を学びましたか?
• Authors: Ziyang Luo
• Abstract要約: シンタクティック距離法を用いて,各頭部の注意重みから暗黙的構成文法を抽出する。 その結果、ベースラインよりもはるかに優れた文法タイプを誘導できるヘッドが存在することを示しています。 また、2種類のタスクで微調整した後のCGI(Constituency grammar Induction)能力の変化についても分析します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the success of pre-trained language models in recent years, more and more researchers focus on opening the "black box" of these models. Following this interest, we carry out a qualitative and quantitative analysis of constituency grammar in attention heads of BERT and RoBERTa. We employ the syntactic distance method to extract implicit constituency grammar from the attention weights of each head. Our results show that there exist heads that can induce some grammar types much better than baselines, suggesting that some heads act as a proxy for constituency grammar. We also analyze how attention heads' constituency grammar inducing (CGI) ability changes after fine-tuning with two kinds of tasks, including sentence meaning similarity (SMS) tasks and natural language inference (NLI) tasks. Our results suggest that SMS tasks decrease the average CGI ability of upper layers, while NLI tasks increase it. Lastly, we investigate the connections between CGI ability and natural language understanding ability on QQP and MNLI tasks.
• Abstract（参考訳）: 近年、事前学習された言語モデルの成功に伴い、より多くの研究者がこれらのモデルの「ブラックボックス」の開放に集中している。 その後、BERTおよびRoBERTaの注目ヘッドにおいて、立法文法の定性的かつ定量的な分析を実施します。 シンタクティック距離法を用いて,各頭部の注意重みから暗黙的構成文法を抽出する。 本研究では, ベースラインよりも優れた文法型を誘導できるヘッドが存在することを示し, あるヘッドが立法文法の代名詞として働くことを示唆した。 また,テキストの類似性(SMS)タスクと自然言語推論(NLI)タスクを含む2種類のタスクを微調整した後に,注目者の選択文法(CGI)能力がどのように変化するかを分析する。 本研究では, SMSタスクが上位層の平均CGI能力を低下させ, NLIタスクが増加することを示唆した。 最後に,QQPタスクとMNLIタスクのCGI能力と自然言語理解能力の関係について検討する。

関連論文リスト

• Grammar Induction from Visual, Speech and Text [91.98797120799227]
  本研究は、新しい視覚音声テキスト文法誘導タスク(textbfVAT-GI)を導入する。 言語文法がテキストを超えて存在するという事実に触発されて、テキストは文法帰納において支配的なモダリティであってはならないと論じる。 そこで本稿では,豊富なモーダル特化機能と補完機能を有効文法解析に活用した,ビジュアル・オーディオ・テキスト・インサイド・アウトサイド・オートエンコーダ(textbfVaTiora)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-01T02:24:18Z)
• ChatGraph: Interpretable Text Classification by Converting ChatGPT Knowledge to Graphs [54.48467003509595]
  ChatGPTは、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを示している。 テキスト分類などの特定のタスクにChatGPTのパワーを利用する新しいフレームワークを提案する。 本手法は,従来のテキスト分類法と比較して,より透過的な意思決定プロセスを提供する。
  論文  参考訳（メタデータ） (2023-05-03T19:57:43Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• CIS2: A Simplified Commonsense Inference Evaluation for Story Prose [21.32351425259654]
  私たちは、コンテキストコモンセンス推論(CCI)と呼ばれる、ストーリーの散文中のコモンセンス推論の領域に注目します。 文選択におけるタスクコンテキストコモンセンス推論(CIS$2$)を導入する。
  論文  参考訳（メタデータ） (2022-02-16T06:14:37Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• VLGrammar: Grounded Grammar Induction of Vision and Language [86.88273769411428]
  共同学習枠組みにおける視覚と言語の基底文法誘導について検討する。 本稿では,複合確率文脈自由文法(pcfgs)を用いて言語文法と画像文法を同時に誘導する手法であるvlgrammarを提案する。
  論文  参考訳（メタデータ） (2021-03-24T04:05:08Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Supertagging Combinatory Categorial Grammar with Attentive Graph Convolutional Networks [34.74687603029737]
  そこで我々は,文脈情報を活用する新しい手法により,ニューラルネットワークのCCGスーパータグ付けを強化するため,注意グラフ畳み込みネットワークを提案する。 CCGbankで行った実験は、我々のアプローチがスーパータグとパーシングの両方で過去のすべての研究より優れていることを示した。
  論文  参考訳（メタデータ） (2020-10-13T01:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。