論文の概要: Evaluating self-attention interpretability through human-grounded experimental protocol

• arxiv url: http://arxiv.org/abs/2303.15190v1
• Date: Mon, 27 Mar 2023 13:26:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 15:24:32.871123
• Title: Evaluating self-attention interpretability through human-grounded experimental protocol
• Title（参考訳）: 実験プロトコルを用いた自己愛着の解釈性の評価
• Authors: Milan Bhan, Nina Achache, Victor Legrand, Annabelle Blangero, Nicolas Chesneau
• Abstract要約: 本稿では,トランスフォーマーの注意が解釈可能性向上にどう役立つかを評価することを目的とする。 CLaSification-Attention (Attention-A) と呼ばれる新しい注意に基づく解釈法を提案する。
• 参考スコア（独自算出の注目度）: 0.4648677931378918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms have played a crucial role in the development of complex architectures such as Transformers in natural language processing. However, Transformers remain hard to interpret and are considered as black-boxes. This paper aims to assess how attention coefficients from Transformers can help in providing interpretability. A new attention-based interpretability method called CLaSsification-Attention (CLS-A) is proposed. CLS-A computes an interpretability score for each word based on the attention coefficient distribution related to the part specific to the classification task within the Transformer architecture. A human-grounded experiment is conducted to evaluate and compare CLS-A to other interpretability methods. The experimental protocol relies on the capacity of an interpretability method to provide explanation in line with human reasoning. Experiment design includes measuring reaction times and correct response rates by human subjects. CLS-A performs comparably to usual interpretability methods regarding average participant reaction time and accuracy. The lower computational cost of CLS-A compared to other interpretability methods and its availability by design within the classifier make it particularly interesting. Data analysis also highlights the link between the probability score of a classifier prediction and adequate explanations. Finally, our work confirms the relevancy of the use of CLS-A and shows to which extent self-attention contains rich information to explain Transformer classifiers.
• Abstract（参考訳）: 自然言語処理におけるトランスフォーマーのような複雑なアーキテクチャの開発において、注意機構が重要な役割を担っている。 しかし、変圧器は解釈が難しく、ブラックボックスと見なされている。 本稿では,トランスフォーマーの注意係数が解釈可能性に与える影響を評価することを目的とする。 CLaSsification-Attention (CLS-A) と呼ばれる新しい注意に基づく解釈法を提案する。 CLS-Aは、トランスフォーマーアーキテクチャ内の分類タスクに特有の部分に関する注意係数分布に基づいて、各単語の解釈可能性スコアを算出する。 CLS-Aを他の解釈可能性法と比較するための人為的な実験を行った。 実験プロトコルは、人間の推論に従って説明を提供するための解釈可能性の方法の能力に依存している。 実験設計には、反応時間とヒトの反応速度の正確な測定が含まれる。 CLS-Aは、平均反応時間と精度に関する通常の解釈可能性手法と相容れない。 CLS-Aの計算コストは、他の解釈可能性法と比較して低く、分類器の設計による可用性は特に興味深い。 データ分析はまた、分類器予測の確率スコアと適切な説明との関係も強調する。 最後に, CLS-Aの使用の関連性を確認し, トランスフォーマー分類器を説明するための豊富な情報を含む自己注意度を示す。

関連論文リスト

• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Can Transformers Learn Sequential Function Classes In Context? [0.0]
  インコンテキスト学習(ICL)は、NLPにおけるトランスフォーマーモデルの能力に革命をもたらした。 我々は,新しいスライディングウィンドウシーケンシャル関数クラスを導入し,GPT-2アーキテクチャを用いた玩具サイズのトランスフォーマーを用いて実験を行った。 解析により,これらのモデルが非テキストシーケンシャル関数クラスでトレーニングされた場合,実際にICLを活用できることが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T22:57:13Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)
• Towards Unsupervised Content Disentanglement in Sentence Representations via Syntactic Roles [0.9582466286528458]
  我々は注意駆動変分オートエンコーダ(ADVAE)を開発した。 本研究では,異なる構文的役割が明確に同定された潜在変数に対応する文の表現を得ることが可能であることを示す。 本研究は,教師なしコンテンツ生成に向けた第一歩となる。
  論文  参考訳（メタデータ） (2022-06-22T15:50:01Z)
• Towards Interpretable and Reliable Reading Comprehension: A Pipeline Model with Unanswerability Prediction [6.524831776235361]
  我々は、解釈不能なクエリを予測できるパイプラインモデルとして、解釈可能な読解理解(IRC)モデルを定義する。 IRCモデルは、予測された支持事実と解釈可能性の実際の理論的根拠との整合性を確立することにより、回答予測を正当化する。 我々のエンドツーエンドのトレーニング可能なパイプラインモデルは、修正されたHotpotQAデータセットで非解釈可能なモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-17T10:47:47Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。