論文の概要: An Attribution Method for Siamese Encoders

• arxiv url: http://arxiv.org/abs/2310.05703v2
• Date: Mon, 23 Oct 2023 15:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 06:49:04.092256
• Title: An Attribution Method for Siamese Encoders
• Title（参考訳）: siameseエンコーダの帰属法
• Authors: Lucas M\"oller, Dmitry Nikolaev, Sebastian Pad\'o
• Abstract要約: 本稿では,複数の入力を持つモデルに対する積分勾配の原理を一般化することにより,シームズエンコーダの局所帰属法を導出する。 パイロットスタディでは、STでは少数のトークンペアが多くの予測を説明でき、名詞や動詞に焦点を絞っていることが示されている。
• 参考スコア（独自算出の注目度）: 2.1163800956183776
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite the success of Siamese encoder models such as sentence transformers (ST), little is known about the aspects of inputs they pay attention to. A barrier is that their predictions cannot be attributed to individual features, as they compare two inputs rather than processing a single one. This paper derives a local attribution method for Siamese encoders by generalizing the principle of integrated gradients to models with multiple inputs. The solution takes the form of feature-pair attributions, and can be reduced to a token-token matrix for STs. Our method involves the introduction of integrated Jacobians and inherits the advantageous formal properties of integrated gradients: it accounts for the model's full computation graph and is guaranteed to converge to the actual prediction. A pilot study shows that in an ST few token-pairs can often explain large fractions of predictions, and it focuses on nouns and verbs. For accurate predictions, it however needs to attend to the majority of tokens and parts of speech.
• Abstract（参考訳）: 文変換器(ST)のようなシームズエンコーダモデルの成功にもかかわらず、それらが注意を払う入力の側面についてはほとんど知られていない。 障害は、それらの予測が1つの入力を処理するのではなく2つの入力を比較するため、個々の特徴に起因するものではないことである。 本稿では,複数の入力を持つモデルに対して統合勾配の原理を一般化し,シャムエンコーダの局所帰属法を導出する。 この解は特徴対属性の形式を採り、ST のトークントークン行列に還元することができる。 我々の手法は、積分ヤコビアンを導入し、積分勾配の有利な形式的特性を継承する:それはモデルの完全な計算グラフを考慮に入れ、実際の予測に収束することが保証される。 パイロットによる研究では、ごく少数のトークンペアが多くの予測を説明でき、名詞と動詞に焦点を当てていることが示されている。 正確な予測のためには、トークンの大部分と音声の一部に出席する必要がある。

関連論文リスト

• Sparse Prototype Network for Explainable Pedestrian Behavior Prediction [60.80524827122901]
  Sparse Prototype Network (SPN) は,歩行者の将来の行動,軌道,ポーズを同時に予測するための説明可能な手法である。 モノセマンティリティとクラスタリングの制約によって規則化されたプロトタイプは、一貫性と人間の理解可能な機能を学ぶ。
  論文  参考訳（メタデータ） (2024-10-16T03:33:40Z)
• Semformer: Transformer Language Models with Semantic Planning [18.750863564495006]
  次世代の予測は、現在のニューラルネットワークモデルの主要なコンポーネントである。 本稿では,応答のセマンティックプランニングを明示的にモデル化したトランスフォーマー言語モデルのトレーニング手法であるSemformerを紹介する。
  論文  参考訳（メタデータ） (2024-09-17T12:54:34Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Approximate Attributions for Off-the-Shelf Siamese Transformers [2.1163800956183776]
  文変換器のようなシームエンコーダは、最も理解されていない深層モデルの一つである。 本稿では,原モデルの予測性能を維持するために,正確な帰属能力を持つモデルを提案する。 また,市販モデルに対する近似属性を求める手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T10:49:05Z)
• Can we Constrain Concept Bottleneck Models to Learn Semantically Meaningful Input Features? [0.6401548653313325]
  概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であるとみなされる。 現在の文献では、概念予測は無関係な入力特徴に依存することが多いことを示唆している。 本稿では,CBMが概念を意味的に意味のある入力特徴にマッピングできることを実証する。
  論文  参考訳（メタデータ） (2024-02-01T10:18:43Z)
• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Learning to Faithfully Rationalize by Construction [36.572594249534866]
  多くの設定において、モデルが特別な予測をした理由を理解することが重要である。 提案手法は, 構築による忠実な説明を提供する, このアプローチの簡易な変種を提案する。 自動評価と手動評価の両方において、この単純なフレームワークの変種はエンドツーエンドのアプローチよりも優れていることが分かる。
  論文  参考訳（メタデータ） (2020-04-30T21:45:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。