論文の概要: Improving Attention-Based Interpretability of Text Classification Transformers

• arxiv url: http://arxiv.org/abs/2209.10876v1
• Date: Thu, 22 Sep 2022 09:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:40:11.696521
• Title: Improving Attention-Based Interpretability of Text Classification Transformers
• Title（参考訳）: テキスト分類変換器の注意に基づく解釈性の向上
• Authors: Nikolaos Mylonas, Ioannis Mollas, Grigorios Tsoumakas
• Abstract要約: テキスト分類における変圧器の注意に基づく解釈可能性手法の有効性について検討する。 適切な設定で、最新技術に匹敵する結果が得られるようなタスクに注意を向けることが示される。
• 参考スコア（独自算出の注目度）: 7.027858121801477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers are widely used in NLP, where they consistently achieve state-of-the-art performance. This is due to their attention-based architecture, which allows them to model rich linguistic relations between words. However, transformers are difficult to interpret. Being able to provide reasoning for its decisions is an important property for a model in domains where human lives are affected, such as hate speech detection and biomedicine. With transformers finding wide use in these fields, the need for interpretability techniques tailored to them arises. The effectiveness of attention-based interpretability techniques for transformers in text classification is studied in this work. Despite concerns about attention-based interpretations in the literature, we show that, with proper setup, attention may be used in such tasks with results comparable to state-of-the-art techniques, while also being faster and friendlier to the environment. We validate our claims with a series of experiments that employ a new feature importance metric.
• Abstract（参考訳）: トランスフォーマーはNLPで広く使われ、常に最先端のパフォーマンスを実現している。 これは、単語間の豊かな言語関係をモデル化できる、注意に基づくアーキテクチャのためである。 しかし、トランスは解釈が難しい。 ヘイトスピーチ検出やバイオメディシンといった、人間の生活が影響を受ける領域におけるモデルにとって、その決定に推論を提供できることは重要な特性である。 変圧器がこれらの分野で広く使われるようになると、それに合わせた解釈可能性技術の必要性が生じる。 本研究では,テキスト分類におけるトランスフォーマに対する注意に基づく解釈手法の有効性について検討した。 文献における注意に基づく解釈に懸念があるにもかかわらず,適切な設定をすれば,最新技術に匹敵する結果が得られるタスクに注意が向けられるだけでなく,より速く,環境に親しみやすいことが分かる。 新機能の重要度基準を用いる一連の実験で、我々の主張を検証する。

関連論文リスト

• Contextual Counting: A Mechanistic Study of Transformers on a Quantitative Task [40.85615657802704]
  本稿では,トランスフォーマーの理解を深めるための新しい玩具問題である文脈カウントタスクを紹介する。 因果的および非因果的トランスフォーマーアーキテクチャを用いた理論的および経験的解析を行った。
  論文  参考訳（メタデータ） (2024-05-30T20:52:23Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Emotion Detection with Transformers: A Comparative Study [0.0]
  我々は、異なる変圧器の変種を用いて、感情データセットを用いて、事前訓練されたトランスフォーマーモデルを訓練し、評価する。 解析の結果,句読解や停止語といった一般的な手法は,モデルの性能を損なうことが判明した。
  論文  参考訳（メタデータ） (2024-03-18T23:22:50Z)
• Adventures of Trustworthy Vision-Language Models: A Survey [54.76511683427566]
  本稿では,バイス,ロバスト性,解釈可能性の3つの基本原理を用いて,視覚言語変換器の徹底的な検証を行う。 本研究の主な目的は, トランスフォーマーの実用化に伴う複雑さと複雑さを掘り下げることであり, 信頼性と説明責任を高める方法の理解を深めることである。
  論文  参考訳（メタデータ） (2023-12-07T11:31:20Z)
• Analysis of the Evolution of Advanced Transformer-Based Language Models: Experiments on Opinion Mining [0.5735035463793008]
  本稿では,最先端のトランスフォーマーに基づく言語モデルの意見マイニングにおける挙動について検討する。 私たちの比較研究は、フォーカスするアプローチに関して、プロダクションエンジニアがリードし、道を開く方法を示しています。
  論文  参考訳（メタデータ） (2023-08-07T01:10:50Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Probing Speech Emotion Recognition Transformers for Linguistic Knowledge [7.81884995637243]
  音声認識の微調整における言語情報の利用状況について検討する。 テキストの感情を変化させながら、韻律的に中性な発話を合成する。 変圧器モデルの妥当性予測は、否定だけでなく、肯定的および否定的な感情内容に対して非常に反応するが、増強剤や還元剤には反応しない。
  論文  参考訳（メタデータ） (2022-04-01T12:47:45Z)
• Incorporating Residual and Normalization Layers into Analysis of Masked Language Models [29.828669678974983]
  我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。 トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
  論文  参考訳（メタデータ） (2021-09-15T08:32:20Z)
• Transformer Interpretability Beyond Attention Visualization [87.96102461221415]
  自己保持技術、特にトランスフォーマーは、テキスト処理の分野を支配しています。 本研究では,トランスフォーマーネットワークの関連性を計算する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-17T18:56:33Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。