論文の概要: Interpreting BERT-based Text Similarity via Activation and Saliency Maps

• arxiv url: http://arxiv.org/abs/2208.06612v1
• Date: Sat, 13 Aug 2022 10:06:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:33:11.612286
• Title: Interpreting BERT-based Text Similarity via Activation and Saliency Maps
• Title（参考訳）: アクティベーションとサリエンシマップによるBERTテキスト類似性の解釈
• Authors: Itzik Malkiel, Dvir Ginzburg, Oren Barkan, Avi Caciularu, Jonathan Weill, Noam Koenigstein
• Abstract要約: 本稿では,事前学習したBERTモデルから推定される段落類似性を説明するための教師なし手法を提案する。 一対の段落を見ると,各段落の意味を規定する重要な単語を識別し,各段落間の単語の一致を判定し,両者の類似性を説明する最も重要なペアを検索する。
• 参考スコア（独自算出の注目度）: 26.279593839644836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been growing interest in the ability of Transformer-based models to produce meaningful embeddings of text with several applications, such as text similarity. Despite significant progress in the field, the explanations for similarity predictions remain challenging, especially in unsupervised settings. In this work, we present an unsupervised technique for explaining paragraph similarities inferred by pre-trained BERT models. By looking at a pair of paragraphs, our technique identifies important words that dictate each paragraph's semantics, matches between the words in both paragraphs, and retrieves the most important pairs that explain the similarity between the two. The method, which has been assessed by extensive human evaluations and demonstrated on datasets comprising long and complex paragraphs, has shown great promise, providing accurate interpretations that correlate better with human perceptions.
• Abstract（参考訳）: 近年,テキスト類似性など,いくつかのアプリケーションで意味のあるテキストの埋め込みを生成するトランスフォーマーモデルへの関心が高まっている。 この分野の著しい進歩にもかかわらず、類似性予測のための説明は、特に教師なしの設定では難しいままである。 本研究では,事前学習したBERTモデルから推定される段落類似性を説明するための教師なし手法を提案する。 一対の段落を見ると,各段落の意味を規定する重要な単語を識別し,各段落間の単語の一致を判定し,両者の類似性を説明する最も重要なペアを検索する。 この手法は, 人的評価によって評価され, 長い段落と複雑な段落からなるデータセット上で実証され, 人間の知覚とよく相関する正確な解釈が得られた。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge [4.563449647618151]
  文埋め込みのアスペクトベースのコントラスト学習手法であるAspectCSEを提案する。 アスペクト固有の情報検索タスクにおいて,複数アスペクトの埋め込みが単一アスペクトの埋め込みよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-15T17:01:56Z)
• Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations [2.543865489517869]
  本研究は、説明の忠実さに触発された新たな評価手法の基盤を築き、テキストの反事実を動機づけるものである。 感情分析データを用いた実験では, 両モデルとも, 対物関係の関連性は明らかでないことがわかった。
  論文  参考訳（メタデータ） (2022-10-17T09:50:02Z)
• SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable AMR Meaning Features [22.8438857884398]
  非常に効果的な類似度メトリクスを作成しながら、評価の解釈可能な根拠を提供します。 まず、キーセマンティック・ファセットに対する文の類似性を測るAMRグラフメトリクスを選択します。 第二に、これらのメトリクスを用いてセマンティックな構造化文BERT埋め込みを誘導する。
  論文  参考訳（メタデータ） (2022-06-14T17:37:18Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
  ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。 統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。 包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
  論文  参考訳（メタデータ） (2021-07-25T13:18:55Z)
• Relation Clustering in Narrative Knowledge Graphs [71.98234178455398]
  原文内の関係文は(SBERTと)埋め込み、意味論的に類似した関係をまとめるためにクラスタ化される。 予備的なテストでは、そのようなクラスタリングが類似した関係を検知し、半教師付きアプローチのための貴重な前処理を提供することが示されている。
  論文  参考訳（メタデータ） (2020-11-27T10:43:04Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。