論文の概要: Towards Interpreting BERT for Reading Comprehension Based QA

• arxiv url: http://arxiv.org/abs/2010.08983v1
• Date: Sun, 18 Oct 2020 13:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 03:48:43.040182
• Title: Towards Interpreting BERT for Reading Comprehension Based QA
• Title（参考訳）: 理解に基づくQA読解のためのBERTの解釈に向けて
• Authors: Sahana Ramnath, Preksha Nema, Deep Sahni, Mitesh M. Khapra
• Abstract要約: BERTとその変種は様々なNLPタスクで最先端のパフォーマンスを達成した。 本研究は, BERT を読解型質問文に解釈しようとするものである。 初期レイヤは問合せと問合せのインタラクションに重点を置いているのに対して,後期レイヤは文脈理解に重点を置いて回答予測を強化している。
• 参考スコア（独自算出の注目度）: 19.63539594339302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: BERT and its variants have achieved state-of-the-art performance in various NLP tasks. Since then, various works have been proposed to analyze the linguistic information being captured in BERT. However, the current works do not provide an insight into how BERT is able to achieve near human-level performance on the task of Reading Comprehension based Question Answering. In this work, we attempt to interpret BERT for RCQA. Since BERT layers do not have predefined roles, we define a layer's role or functionality using Integrated Gradients. Based on the defined roles, we perform a preliminary analysis across all layers. We observed that the initial layers focus on query-passage interaction, whereas later layers focus more on contextual understanding and enhancing the answer prediction. Specifically for quantifier questions (how much/how many), we notice that BERT focuses on confusing words (i.e., on other numerical quantities in the passage) in the later layers, but still manages to predict the answer correctly. The fine-tuning and analysis scripts will be publicly available at https://github.com/iitmnlp/BERT-Analysis-RCQA .
• Abstract（参考訳）: BERTとその変種は様々なNLPタスクで最先端のパフォーマンスを達成した。 それ以来、BERTで収集された言語情報を分析するための様々な研究が提案されている。 しかし、現在の研究は、BERTが理解に基づく質問回答を読み取るタスクにおいて、人間レベルに近いパフォーマンスを達成できるという洞察を与えていない。 本研究では,BERT を RCQA に対して解釈しようとする。 BERT層は事前に定義された役割を持っていないので、統合勾配を使ってレイヤの役割や機能を定義します。 定義された役割に基づいて、すべての層にわたって予備分析を行う。 最初のレイヤはクエリとパッセージのインタラクションに重点を置いているのに対して、後のレイヤはコンテキストの理解と回答予測の強化に重点を置いています。 特に数量化問題(数/数)については、bertが後段の層で混乱した単語(つまり、他の数量)に焦点を当てていることに気付くが、それでも正しく答えを予測できる。 微調整と解析のスクリプトはhttps://github.com/iitmnlp/BERT-Analysis-RCQAで公開される。

関連論文リスト

• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Semantic Parsing for Conversational Question Answering over Knowledge Graphs [63.939700311269156]
  本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。 本稿では,2つの意味解析手法を提案し,その課題を強調した。 私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
  論文  参考訳（メタデータ） (2023-01-28T14:45:11Z)
• On Explaining Your Explanations of BERT: An Empirical Study with Sequence Classification [0.76146285961466]
  シーケンス分類タスクにおけるBERTの意思決定の記述に既存の帰属手法を適応させる。 各種アブレーション試験により、各方法の信頼性と堅牢性を比較します。 下流分類タスクにおけるBERTの意思決定について,アトリビューション手法を用いた確固たる指導を行う。
  論文  参考訳（メタデータ） (2021-01-01T08:45:32Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
  本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。 アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
  論文  参考訳（メタデータ） (2020-10-31T02:21:43Z)
• Hierarchical Multitask Learning Approach for BERT [0.36525095710982913]
  BERTは、マスク付き言語モデル(masked LM)と次の文予測(NSP)である2つのタスクを解くことで埋め込みを学習する BERT事前学習には階層型マルチタスク学習アプローチを採用する。 この結果から,タスク階層を事前学習に組み込むことで,組込み性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-10-17T09:23:04Z)
• Does Chinese BERT Encode Word Structure? [17.836131968160917]
  文脈化された表現は、幅広いNLPタスクに対して大幅に改善された結果を与える。 BERTのような代表モデルによってキャプチャされた特徴を分析するために、多くの作業が費やされている。 本研究では,(1)単語情報がBERTによって取得されること,(2)単語レベルの特徴が主に中間表現層にあること,(3)下流タスクがBERTの単語特徴を異なる用途で利用すること,の2つを用いて中国語のBERTを調査する。
  論文  参考訳（メタデータ） (2020-10-15T12:40:56Z)
• What's so special about BERT's layers? A closer look at the NLP pipeline in monolingual and multilingual models [18.155121103400333]
  オランダのNLPタスクに対して,オランダのBERTベースモデルと多言語BERTモデルを提案する。 音声のタグ付けをより深く分析することにより、与えられたタスク内でも、情報がネットワークの異なる部分に分散されていることを示す。
  論文  参考訳（メタデータ） (2020-04-14T13:41:48Z)
• DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding [90.85913515409275]
  近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。 本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。 SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
  論文  参考訳（メタデータ） (2020-02-28T08:18:37Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)
• Pretrained Transformers for Simple Question Answering over Knowledge Graphs [0.0]
  最近、様々な自然言語処理タスクにおいて、事前訓練されたトランスフォーマーネットワーク(例えばBERT)が従来の手法より優れていることが示されている。 本研究では, BERT が SimpleQuestions 上でどのように機能するかを検証し, データスパースシナリオにおける BERT と BiLSTM をベースとしたモデルの評価を行う。
  論文  参考訳（メタデータ） (2020-01-31T18:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。