論文の概要: Approximate Attributions for Off-the-Shelf Siamese Transformers

• arxiv url: http://arxiv.org/abs/2402.02883v1
• Date: Mon, 5 Feb 2024 10:49:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 16:46:09.611920
• Title: Approximate Attributions for Off-the-Shelf Siamese Transformers
• Title（参考訳）: 既設シアーム変圧器の近似帰属
• Authors: Lucas M\"oller and Dmitry Nikolaev and Sebastian Pad\'o
• Abstract要約: 文変換器のようなシームエンコーダは、最も理解されていない深層モデルの一つである。 本稿では,原モデルの予測性能を維持するために,正確な帰属能力を持つモデルを提案する。 また,市販モデルに対する近似属性を求める手法を提案する。
• 参考スコア（独自算出の注目度）: 2.1163800956183776
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Siamese encoders such as sentence transformers are among the least understood deep models. Established attribution methods cannot tackle this model class since it compares two inputs rather than processing a single one. To address this gap, we have recently proposed an attribution method specifically for Siamese encoders (M\"oller et al., 2023). However, it requires models to be adjusted and fine-tuned and therefore cannot be directly applied to off-the-shelf models. In this work, we reassess these restrictions and propose (i) a model with exact attribution ability that retains the original model's predictive performance and (ii) a way to compute approximate attributions for off-the-shelf models. We extensively compare approximate and exact attributions and use them to analyze the models' attendance to different linguistic aspects. We gain insights into which syntactic roles Siamese transformers attend to, confirm that they mostly ignore negation, explore how they judge semantically opposite adjectives, and find that they exhibit lexical bias.
• Abstract（参考訳）: 文変換器のようなシームエンコーダは、最も理解されていない深層モデルの一つである。 確立された帰属メソッドは、1つの入力を処理するのではなく2つの入力を比較するため、このモデルクラスに取り組むことができない。 このギャップに対処するため,我々は最近,シアムエンコーダに特化した帰属法を提案した(m\"oller et al., 2023)。 しかし、調整と微調整を必要とするため、市販モデルに直接適用することはできない。 この作品では これらの制約を再評価し (i)原モデルの予測性能を維持する正確な帰属能力を有するモデル (ii)既成モデルに対する近似帰属を計算する方法。 我々は、近似と正確な帰属を広範囲に比較し、モデルの異なる言語的側面への出席を分析するためにそれらを使用する。 siamese transformersがどの構文的役割を担っているか、否定をほとんど無視していること、意味的に反対の形容詞を判断する方法、語彙バイアスを示すこと、といった知見を得る。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• CLIMAX: An exploration of Classifier-Based Contrastive Explanations [5.381004207943597]
  我々は,ブラックボックスの分類を正当化する対照的な説明を提供する,ポストホックモデルXAI手法を提案する。 CLIMAXと呼ばれる手法は,局所的な分類法に基づく。 LIME, BayLIME, SLIMEなどのベースラインと比較して, 一貫性が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-02T22:52:58Z)
• Analyzing Transformers in Embedding Space [59.434807802802105]
  学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。 予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。 我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
  論文  参考訳（メタデータ） (2022-09-06T14:36:57Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured [137.83584233680116]
  本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。 異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。 驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
  論文  参考訳（メタデータ） (2022-04-12T10:00:20Z)
• xFAIR: Better Fairness via Model-based Rebalancing of Protected Attributes [15.525314212209564]
  機械学習ソフトウェアは、特定の保護された社会グループに対して不適切な差別を行うモデルを生成することができる。 本稿では,モデルに基づく外挿法であるxFAIRを提案する。
  論文  参考訳（メタデータ） (2021-10-03T22:10:14Z)
• Equivalence of Segmental and Neural Transducer Modeling: A Proof of Concept [56.46135010588918]
  RNN-Transducerモデルとセグメントモデル(直接HMM)の広く使われているクラスが等価であることを証明する。 空白確率はセグメント長確率に変換され,その逆も示された。
  論文  参考訳（メタデータ） (2021-04-13T11:20:48Z)
• BODAME: Bilevel Optimization for Defense Against Model Extraction [10.877450596327407]
  私たちは、サービスプロバイダのアタッカーを最も推測する前提の下でモデル抽出を防ぐために、逆の設定を検討します。 真のモデルの予測を用いてサロゲートモデルを定式化する。 勾配降下に基づくアルゴリズムを用いて学習されるより複雑なモデルに対して,トラクタブル変換とアルゴリズムを与える。
  論文  参考訳（メタデータ） (2021-03-11T17:08:31Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Learning Invariances for Interpretability using Supervised VAE [0.0]
  我々はモデルを解釈する手段としてモデル不変性を学習する。 可変オートエンコーダ(VAE)の教師型形式を提案する。 我々は、我々のモデルと特徴属性の手法を組み合わせることで、モデルの意思決定プロセスについてよりきめ細やかな理解を得られることを示す。
  論文  参考訳（メタデータ） (2020-07-15T10:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。