論文の概要: Inserting Information Bottlenecks for Attribution in Transformers

• arxiv url: http://arxiv.org/abs/2012.13838v1
• Date: Sun, 27 Dec 2020 00:35:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 00:48:33.178974
• Title: Inserting Information Bottlenecks for Attribution in Transformers
• Title（参考訳）: 変圧器の属性に対する挿入情報
• Authors: Zhiying Jiang, Raphael Tang, Ji Xin, Jimmy Lin
• Abstract要約: ブラックボックスモデルにおける各特徴のアトリビューションを分析するために,情報ボトルネックを適用した。 本手法の有効性を帰属性の観点から示し,情報がどのように層を流れるのかを考察する。
• 参考スコア（独自算出の注目度）: 46.77580577396633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained transformers achieve the state of the art across tasks in natural language processing, motivating researchers to investigate their inner mechanisms. One common direction is to understand what features are important for prediction. In this paper, we apply information bottlenecks to analyze the attribution of each feature for prediction on a black-box model. We use BERT as the example and evaluate our approach both quantitatively and qualitatively. We show the effectiveness of our method in terms of attribution and the ability to provide insight into how information flows through layers. We demonstrate that our technique outperforms two competitive methods in degradation tests on four datasets. Code is available at https://github.com/bazingagin/IBA.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーは自然言語処理のタスクにまたがる芸術の状態を達成し、研究者が内部のメカニズムを調査する動機となる。 一般的な方向性の1つは、予測に重要な機能を理解することである。 本稿では,ブラックボックスモデル上での予測のために,各特徴の帰属分析に情報ボトルネックを適用する。 BERTを例として用いて,定量的かつ定性的にアプローチを評価する。 本手法の有効性を帰属性の観点から示し,情報がどのように層を流れるのかを考察する。 本手法は, 4つのデータセットの劣化試験において, 2つの競合手法より優れていることを示す。 コードはhttps://github.com/bazingagin/IBA.comで入手できる。

関連論文リスト

• Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph [0.0]
  本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。 学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。 i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T10:35:18Z)
• Cross-Domain Aspect Extraction using Transformers Augmented with Knowledge Graphs [3.662157175955389]
  本稿では,アスペクト項の識別に関連する情報を含むドメイン固有知識グラフを自動構築する手法を提案する。 提案手法を用いたドメイン間アスペクト項抽出のためのベンチマークデータセットの最先端性能を実証し,Transformerで利用可能な外部知識の量がモデル性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2022-10-18T20:18:42Z)
• What does Transformer learn about source code? [26.674180481543264]
  トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。 本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。 また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
  論文  参考訳（メタデータ） (2022-07-18T09:33:04Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Enjoy the Salience: Towards Better Transformer-based Faithful Explanations with Word Salience [9.147707153504117]
  本研究では,TextRankを用いて抽出した有能な情報に近づき,訓練中に多頭部注意機構を誘導する補助的損失関数を提案する。 5つのデータセットにわたる説明の忠実性の実験は、SaLossでトレーニングされたモデルが一貫してより忠実な説明を提供することを示している。 さらに、下流タスクにおいて、後者がより高い予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-31T11:21:30Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。