論文の概要: On Explaining Your Explanations of BERT: An Empirical Study with Sequence Classification

• arxiv url: http://arxiv.org/abs/2101.00196v1
• Date: Fri, 1 Jan 2021 08:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 12:01:10.063638
• Title: On Explaining Your Explanations of BERT: An Empirical Study with Sequence Classification
• Title（参考訳）: BERTの解説を解説する:シーケンス分類を用いた実証的研究
• Authors: Zhengxuan Wu, Desmond C. Ong
• Abstract要約: シーケンス分類タスクにおけるBERTの意思決定の記述に既存の帰属手法を適応させる。 各種アブレーション試験により、各方法の信頼性と堅牢性を比較します。 下流分類タスクにおけるBERTの意思決定について,アトリビューション手法を用いた確固たる指導を行う。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: BERT, as one of the pretrianed language models, attracts the most attention in recent years for creating new benchmarks across GLUE tasks via fine-tuning. One pressing issue is to open up the blackbox and explain the decision makings of BERT. A number of attribution techniques have been proposed to explain BERT models, but are often limited to sequence to sequence tasks. In this paper, we adapt existing attribution methods on explaining decision makings of BERT in sequence classification tasks. We conduct extensive analyses of four existing attribution methods by applying them to four different datasets in sentiment analysis. We compare the reliability and robustness of each method via various ablation studies. Furthermore, we test whether attribution methods explain generalized semantics across semantically similar tasks. Our work provides solid guidance for using attribution methods to explain decision makings of BERT for downstream classification tasks.
• Abstract（参考訳）: BERTは、先進的な言語モデルの一つであり、微調整によってGLUEタスクにまたがる新しいベンチマークを作成することで、近年最も注目を集めている。 ひとつは、ブラックボックスを開き、BERTの意思決定を説明することだ。 BERTモデルを説明するためにいくつかの属性技術が提案されているが、しばしばシーケンスタスクに制限される。 本稿では,シーケンス分類タスクにおけるBERTの意思決定を説明するために,既存の属性手法を適用する。 感情分析の4つの異なるデータセットに適用することにより,既存の4つの帰属法を広範囲に分析する。 それぞれの手法の信頼性とロバスト性を様々なアブレーション研究により比較する。 さらに,帰属法が意味的に類似したタスクにまたがる一般的な意味論を説明するかどうかを検証した。 我々の研究は、下流分類タスクにおけるBERTの意思決定を説明するために属性手法を使用するための確固たるガイダンスを提供する。

関連論文リスト

• Fine-Grained Visual Entailment [51.66881737644983]
  そこで本稿では,テキストから画像への微粒な知識要素の論理的関係を予測することを目的として,このタスクの拡張を提案する。 従来の研究とは異なり、本手法は本質的に説明可能であり、異なるレベルの粒度で論理的予測を行う。 本手法は,手動でアノテートした知識要素のデータセットを用いて評価し,この課題に対して68.18%の精度を達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-29T16:09:38Z)
• BERTVision -- A Parameter-Efficient Approach for Question Answering [0.0]
  本稿では,BERTファインチューニングの必要性を大幅に低減する,質問応答に対するパラメータ効率の高い手法を提案する。 提案手法では,各BERTトランス層の隠れ状態アクティベーションから得られる情報を用いて,典型的なBERT推論時に破棄される。 実験の結果,本手法は多岐にわたるQAだけでなく,分類にも有効であり,より広い範囲のタスクに向いていることが示唆された。
  論文  参考訳（メタデータ） (2022-02-24T17:16:25Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Towards Interpreting BERT for Reading Comprehension Based QA [19.63539594339302]
  BERTとその変種は様々なNLPタスクで最先端のパフォーマンスを達成した。 本研究は, BERT を読解型質問文に解釈しようとするものである。 初期レイヤは問合せと問合せのインタラクションに重点を置いているのに対して,後期レイヤは文脈理解に重点を置いて回答予測を強化している。
  論文  参考訳（メタデータ） (2020-10-18T13:33:49Z)
• An Unsupervised Sentence Embedding Method by Mutual Information Maximization [34.947950543830686]
  SBERT(Sentence BERT)はクラスタリングやセマンティックサーチのような文対タスクでは非効率である。 本稿では,BERT上での軽量な拡張と,新たな自己教師型学習目標を提案する。 我々の方法は、異なるドメイン固有のコーパスに適用できるようなラベル付きデータの可用性に制限されない。
  論文  参考訳（メタデータ） (2020-09-25T07:16:51Z)
• Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
  本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。 BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。 そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T12:34:52Z)
• Counterfactual Detection meets Transfer Learning [48.82717416666232]
  既存のモデルアーキテクチャに最小限の適応で実装可能な,単純なバイナリ分類タスクであることを示す。 本稿では,先行者や後続者をエンティティ認識タスクとして処理するエンド・ツー・エンドパイプラインを導入し,それらをトークン分類に適用する。
  論文  参考訳（メタデータ） (2020-05-27T02:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。