論文の概要: An Attribution Method for Siamese Encoders
- arxiv url: http://arxiv.org/abs/2310.05703v3
- Date: Wed, 29 Nov 2023 15:12:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 00:40:42.722022
- Title: An Attribution Method for Siamese Encoders
- Title(参考訳): siameseエンコーダの帰属法
- Authors: Lucas M\"oller, Dmitry Nikolaev, Sebastian Pad\'o
- Abstract要約: 本稿では,複数の入力を持つモデルに対する積分勾配の原理を一般化することにより,シームズエンコーダの局所帰属法を導出する。
パイロットスタディでは、STでは少数のトークンペアが多くの予測を説明でき、名詞や動詞に焦点を絞っていることが示されている。
- 参考スコア(独自算出の注目度): 2.1163800956183776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the success of Siamese encoder models such as sentence transformers
(ST), little is known about the aspects of inputs they pay attention to. A
barrier is that their predictions cannot be attributed to individual features,
as they compare two inputs rather than processing a single one. This paper
derives a local attribution method for Siamese encoders by generalizing the
principle of integrated gradients to models with multiple inputs. The solution
takes the form of feature-pair attributions, and can be reduced to a
token-token matrix for STs. Our method involves the introduction of integrated
Jacobians and inherits the advantageous formal properties of integrated
gradients: it accounts for the model's full computation graph and is guaranteed
to converge to the actual prediction. A pilot study shows that in an ST few
token-pairs can often explain large fractions of predictions, and it focuses on
nouns and verbs. For accurate predictions, it however needs to attend to the
majority of tokens and parts of speech.
- Abstract(参考訳): 文変換器(ST)のようなシームズエンコーダモデルの成功にもかかわらず、それらが注意を払う入力の側面についてはほとんど知られていない。
障害は、それらの予測が1つの入力を処理するのではなく2つの入力を比較するため、個々の特徴に起因するものではないことである。
本稿では,複数の入力を持つモデルに対して統合勾配の原理を一般化し,シャムエンコーダの局所帰属法を導出する。
この解は特徴対属性の形式を採り、ST のトークントークン行列に還元することができる。
我々の手法は、積分ヤコビアンを導入し、積分勾配の有利な形式的特性を継承する:それはモデルの完全な計算グラフを考慮に入れ、実際の予測に収束することが保証される。
パイロットによる研究では、ごく少数のトークンペアが多くの予測を説明でき、名詞と動詞に焦点を当てていることが示されている。
正確な予測のためには、トークンの大部分と音声の一部に出席する必要がある。
関連論文リスト
- Approximate Attributions for Off-the-Shelf Siamese Transformers [2.1163800956183776]
文変換器のようなシームエンコーダは、最も理解されていない深層モデルの一つである。
本稿では,原モデルの予測性能を維持するために,正確な帰属能力を持つモデルを提案する。
また,市販モデルに対する近似属性を求める手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T10:49:05Z) - ReAGent: A Model-agnostic Feature Attribution Method for Generative
Language Models [4.015810081063028]
モデル予測に対する全ての入力特徴の重要性を導出するために、FA(Feature Attribution Method)が使用される。
テキスト生成においてデコーダのみのモデルにこれらのFAを使うことが忠実かどうかは不明である。
Recursive Attribution Generator (ReAGent) と呼ばれるジェネレーティブ LM のためのモデル非依存型 FA を提案する。
論文 参考訳(メタデータ) (2024-02-01T17:25:51Z) - Object Recognition as Next Token Prediction [105.334222837841]
オブジェクト認識を次のトークン予測として提案する。
その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
論文 参考訳(メタデータ) (2023-12-04T18:58:40Z) - Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。
計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。
トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
論文 参考訳(メタデータ) (2023-12-02T04:29:19Z) - On the Robustness of Text Vectorizers [9.904746542801838]
自然言語処理では、モデルは通常第一の埋め込み層を含み、トークンの列をベクトル表現に変換する。
連続的な入力の変化に対する堅牢性はよく理解されているが、離散的な変化を考慮すると、状況は明確ではない。
我々の研究は、連結、TF-IDF、段落ベクトル(doc2vec)のような一般的な埋め込みスキームがハミング距離に関してH"older"やLipschitzの感覚において堅牢性を示すことを正式に証明している。
論文 参考訳(メタデータ) (2023-03-09T16:37:37Z) - FSR: Accelerating the Inference Process of Transducer-Based Models by
Applying Fast-Skip Regularization [72.9385528828306]
典型的なトランスデューサモデルは、現在の音響状態に条件付き出力シーケンスをデコードします。
予測結果に含まれる空白のトークンの数は、すべてのトークンの90%近くを占める。
本稿では,トランスデューサが予測する空白位置とCTCモデルが予測する空白位置を一致させようとする高速スキップ正規化法を提案する。
論文 参考訳(メタデータ) (2021-04-07T03:15:10Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳(メタデータ) (2021-02-15T15:18:59Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z) - Learning to Faithfully Rationalize by Construction [36.572594249534866]
多くの設定において、モデルが特別な予測をした理由を理解することが重要である。
提案手法は, 構築による忠実な説明を提供する, このアプローチの簡易な変種を提案する。
自動評価と手動評価の両方において、この単純なフレームワークの変種はエンドツーエンドのアプローチよりも優れていることが分かる。
論文 参考訳(メタデータ) (2020-04-30T21:45:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。