論文の概要: Explaining Text Similarity in Transformer Models

• arxiv url: http://arxiv.org/abs/2405.06604v1
• Date: Fri, 10 May 2024 17:11:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 15:08:38.958292
• Title: Explaining Text Similarity in Transformer Models
• Title（参考訳）: 変圧器モデルにおけるテキスト類似性の説明
• Authors: Alexandros Vasileiou, Oliver Eberle,
• Abstract要約: 説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
• 参考スコア（独自算出の注目度）: 52.571158418102584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Transformers have become state-of-the-art models for natural language processing (NLP) tasks, the need to understand and explain their predictions is increasingly apparent. Especially in unsupervised applications, such as information retrieval tasks, similarity models built on top of foundation model representations have been widely applied. However, their inner prediction mechanisms have mostly remained opaque. Recent advances in explainable AI have made it possible to mitigate these limitations by leveraging improved explanations for Transformers through layer-wise relevance propagation (LRP). Using BiLRP, an extension developed for computing second-order explanations in bilinear similarity models, we investigate which feature interactions drive similarity in NLP models. We validate the resulting explanations and demonstrate their utility in three corpus-level use cases, analyzing grammatical interactions, multilingual semantics, and biomedical text retrieval. Our findings contribute to a deeper understanding of different semantic similarity tasks and models, highlighting how novel explainable AI methods enable in-depth analyses and corpus-level insights.
• Abstract（参考訳）: トランスフォーマーは自然言語処理(NLP)タスクの最先端モデルになりつつあるため、それらの予測を理解し説明する必要がますます高まっている。 特に情報検索タスクのような教師なしのアプリケーションでは、基礎モデル表現の上に構築された類似性モデルが広く適用されている。 しかし、その内部の予測機構はほとんど不透明のままである。 説明可能なAIの最近の進歩により、レイヤワイド関連伝播(LRP)を通じてトランスフォーマーの説明の改善を活用することで、これらの制限を緩和できるようになった。 双線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを検討する。 得られた説明を検証し,文法的相互作用,多言語意味論,生物医学的テキスト検索の3つのユースケースで有用性を示す。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。

関連論文リスト

• LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multi-modal Foundation Models [4.675123839851372]
  textitLatentExplainerは、深層生成モデルにおける潜伏変数の意味論的意味のある説明を自動的に生成するフレームワークである。 我々のアプローチは潜伏変数を摂動させ、生成されたデータの変化を解釈し、マルチモーダルな大言語モデル(MLLM)を用いて人間の理解可能な説明を生成する。
  論文  参考訳（メタデータ） (2024-06-21T04:39:03Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Combining Transformers with Natural Language Explanations [13.167758466408825]
  本稿では,外部記憶を利用して自然言語記述を記憶し,それらを分類結果の説明に利用するトランスフォーマーモデルの拡張を提案する。 法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。
  論文  参考訳（メタデータ） (2021-09-02T09:17:04Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)
• Ontology-based Interpretable Machine Learning for Textual Data [35.01650633374998]
  本稿では,予測モデルを説明するためのサンプリング手法に基づいて,解釈可能なモデルを学習する新しい解釈フレームワークを提案する。 説明のために探索空間を狭めるために,学習可能なアンカーアルゴリズムを設計する。 さらに、学習された解釈可能な表現とアンカーを組み合わせることで、理解可能な説明を生成する一連の規則が導入された。
  論文  参考訳（メタデータ） (2020-04-01T02:51:57Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。