論文の概要: ReAGent: A Model-agnostic Feature Attribution Method for Generative Language Models

• arxiv url: http://arxiv.org/abs/2402.00794v2
• Date: Wed, 7 Feb 2024 21:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 18:23:34.696643
• Title: ReAGent: A Model-agnostic Feature Attribution Method for Generative Language Models
• Title（参考訳）: reagent:生成言語モデルのためのモデル非依存特徴帰属法
• Authors: Zhixue Zhao, Boxuan Shan
• Abstract要約: モデル予測に対する全ての入力特徴の重要性を導出するために、FA(Feature Attribution Method)が使用される。 テキスト生成においてデコーダのみのモデルにこれらのFAを使うことが忠実かどうかは不明である。 Recursive Attribution Generator (ReAGent) と呼ばれるジェネレーティブ LM のためのモデル非依存型 FA を提案する。
• 参考スコア（独自算出の注目度）: 4.015810081063028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature attribution methods (FAs), such as gradients and attention, are widely employed approaches to derive the importance of all input features to the model predictions. Existing work in natural language processing has mostly focused on developing and testing FAs for encoder-only language models (LMs) in classification tasks. However, it is unknown if it is faithful to use these FAs for decoder-only models on text generation, due to the inherent differences between model architectures and task settings respectively. Moreover, previous work has demonstrated that there is no `one-wins-all' FA across models and tasks. This makes the selection of a FA computationally expensive for large LMs since input importance derivation often requires multiple forward and backward passes including gradient computations that might be prohibitive even with access to large compute. To address these issues, we present a model-agnostic FA for generative LMs called Recursive Attribution Generator (ReAGent). Our method updates the token importance distribution in a recursive manner. For each update, we compute the difference in the probability distribution over the vocabulary for predicting the next token between using the original input and using a modified version where a part of the input is replaced with RoBERTa predictions. Our intuition is that replacing an important token in the context should have resulted in a larger change in the model's confidence in predicting the token than replacing an unimportant token. Our method can be universally applied to any generative LM without accessing internal model weights or additional training and fine-tuning, as most other FAs require. We extensively compare the faithfulness of ReAGent with seven popular FAs across six decoder-only LMs of various sizes. The results show that our method consistently provides more faithful token importance distributions.
• Abstract（参考訳）: グラデーションやアテンションなどの特徴帰属法(FA)は、モデル予測に対する全ての入力特徴の重要性を導き出すために広く採用されている。 自然言語処理における既存の仕事は、主に分類タスクにおけるエンコーダのみの言語モデル(lms)のためのfasの開発とテストに焦点を当てている。 しかし、モデルアーキテクチャとタスク設定に固有の違いがあるため、これらのFAをテキスト生成でデコーダのみのモデルに使用することが忠実かどうかは不明である。 さらに、以前の研究では、モデルとタスク間で'one-wins-all' faが存在しないことが示されている。 これにより、入力の重要度を導出するには、大きな計算にアクセスしても禁止となる勾配計算を含む、複数の前方および後方通過が必要となるため、大規模な LM に対して計算的にコストがかかる。 これらの問題に対処するために,再帰的帰属生成(Recursive Attribution Generator, ReAGent)と呼ばれる LM 生成のためのモデルに依存しない FA を提案する。 本手法では,トークン重要度分布を再帰的に更新する。 各更新では,入力の一部をRoBERTa予測に置き換えた修正版を用いて,元の入力を用いて次のトークンを予測するための語彙上の確率分布の差を計算する。 直観としては、コンテキスト内の重要なトークンを置き換えることは、重要でないトークンを置き換えるよりも、モデルがトークンを予測することに対する信頼度を大きく変化させるべきだということです。 本手法は, 内部モデルウェイトや追加トレーニング, 微調整を必要とせず, 任意の生成型LMに普遍的に適用することができる。 我々はReAGentの忠実さを、様々な大きさの6個のデコーダのみのLMの7つの人気FAと比較した。 その結果,本手法はより忠実なトークン重要度分布を提供することがわかった。

関連論文リスト

• Dior-CVAE: Pre-trained Language Models and Diffusion Priors for Variational Dialog Generation [70.2283756542824]
  Dior-CVAEは階層型条件変分オートエンコーダ(CVAE)である。 拡散モデルを用いて、従来の分布の複雑さを増大させ、PLMが生成した分布との整合性を高める。 2つのオープンドメインダイアログデータセットを対象とした実験により,大規模ダイアログ事前学習を必要とせずに,より多様な応答を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-05-24T11:06:52Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Deep Sequence Models for Text Classification Tasks [0.007329200485567826]
  自然言語処理(NLP)は、人間の多様で複雑な言語を理解するために機械を装備している。 一般的なテキスト分類アプリケーションには、情報検索、ニューストピックのモデリング、テーマ抽出、感情分析、スパム検出が含まれる。 RNN、GRU、LSTMといったシーケンスモデルは、長距離依存性を持つタスクのブレークスルーである。 その結果、ほとんどのモデルでは80%と94%の範囲で性能が向上した。
  論文  参考訳（メタデータ） (2022-07-18T18:47:18Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。