論文の概要: Progressive Inference: Explaining Decoder-Only Sequence Classification Models Using Intermediate Predictions

• arxiv url: http://arxiv.org/abs/2406.02625v1
• Date: Mon, 3 Jun 2024 21:48:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 23:29:51.866624
• Title: Progressive Inference: Explaining Decoder-Only Sequence Classification Models Using Intermediate Predictions
• Title（参考訳）: プログレッシブ推論:中間予測を用いたデコーダオンリーシーケンス分類モデルの説明
• Authors: Sanjay Kariyappa, Freddy Lécué, Saumitra Mishra, Christopher Pond, Daniele Magazzeni, Manuela Veloso,
• Abstract要約: プログレッシブ推論(Progressive Inference)は、デコーダのみのシーケンス分類モデルの予測を説明するための入力属性を計算するフレームワークである。 本稿では,連続する中間予測の差を捉えて属性を計算するシングルパスプログレッシブ推論(SP-PI)を提案する。 第二に、Kernel SHAPとの接続を利用して、MP-PI(Multiple Pass-Progressive Inference)を開発する。
• 参考スコア（独自算出の注目度）: 21.078014654527717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes Progressive Inference - a framework to compute input attributions to explain the predictions of decoder-only sequence classification models. Our work is based on the insight that the classification head of a decoder-only Transformer model can be used to make intermediate predictions by evaluating them at different points in the input sequence. Due to the causal attention mechanism, these intermediate predictions only depend on the tokens seen before the inference point, allowing us to obtain the model's prediction on a masked input sub-sequence, with negligible computational overheads. We develop two methods to provide sub-sequence level attributions using this insight. First, we propose Single Pass-Progressive Inference (SP-PI), which computes attributions by taking the difference between consecutive intermediate predictions. Second, we exploit a connection with Kernel SHAP to develop Multi Pass-Progressive Inference (MP-PI). MP-PI uses intermediate predictions from multiple masked versions of the input to compute higher quality attributions. Our studies on a diverse set of models trained on text classification tasks show that SP-PI and MP-PI provide significantly better attributions compared to prior work.
• Abstract（参考訳）: 本稿では、デコーダのみのシーケンス分類モデルの予測を説明するために、入力属性を計算するためのフレームワークであるプログレッシブ推論を提案する。 本研究は、デコーダのみのトランスフォーマーモデルの分類ヘッドを用いて、入力シーケンスの異なる点で評価することで中間予測を行うことができるという知見に基づいている。 因果的注意機構のため、これらの中間予測は推論点の前のトークンにのみ依存し、マスク付き入力サブシーケンス上でモデルの予測を得ることができ、計算上のオーバーヘッドは無視できる。 この知見を用いてサブシーケンスレベルの属性を提供する2つの方法を開発した。 まず,連続する中間予測の差を捉えて属性を計算するシングルパスプログレッシブ推論(Single Pass-Progressive Inference,SP-PI)を提案する。 次に、Kernel SHAPとの接続を利用して、MP-PI(Multiple Pass-Progressive Inference)を開発する。 MP-PIは、複数のマスク付きバージョンの入力から中間予測を使用して、より高い品質の属性を計算する。 テキスト分類タスクを訓練した多種多様なモデルについて検討したところ,SP-PIとMP-PIは,従来の作業に比べて有意に優れた属性を提供することがわかった。

関連論文リスト

• Causal Unsupervised Semantic Segmentation [60.178274138753174]
  教師なしセマンティックセグメンテーションは、人間のラベル付きアノテーションなしで高品質なセマンティックセマンティックセグメンテーションを実現することを目的としている。 本稿では、因果推論からの洞察を活用する新しいフレームワークCAUSE(CAusal Unsupervised Semantic sEgmentation)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:54:44Z)
• With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning [47.96387857237473]
  我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。 私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。 本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
  論文  参考訳（メタデータ） (2023-08-23T18:53:00Z)
• Encoder-Decoder Model for Suffix Prediction in Predictive Monitoring [0.0]
  接尾辞予測問題に対するほとんどのアプローチは、次の活動のみを予測する方法を学ぶことによって接尾辞を予測することを学ぶ。 本稿では,プレフィックスの表現学習を推論フェーズから分離するアテンション機構を備えたエンコーダ・デコーダモデルに基づく新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-29T11:27:29Z)
• Generating Sparse Counterfactual Explanations For Multivariate Time Series [0.5161531917413706]
  多変量時系列に対するSPARse Counterfactual Explanationsを生成するGANアーキテクチャを提案する。 提案手法は, トラジェクトリの類似性, 疎性, 滑らか性の観点から, 対実損失関数を正規化する。 我々は,実世界の人間の動作データセットと合成時系列解釈可能性ベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-06-02T08:47:06Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition [12.463955174384457]
  PCRP(Prototypeal Contrast and Reverse Prediction)と呼ばれる新しいフレームワークを提案する。 PCRPは逆逐次予測を生成し、低レベル情報と高レベルパターンを学習する。 また、アクションプロトタイプを作成して、シーケンス間で共有されるセマンティックな類似性を暗黙的にエンコードする。
  論文  参考訳（メタデータ） (2020-11-14T08:04:23Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。