論文の概要: Sequential Integrated Gradients: a simple but effective method for explaining language models

• arxiv url: http://arxiv.org/abs/2305.15853v1
• Date: Thu, 25 May 2023 08:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 16:15:28.997925
• Title: Sequential Integrated Gradients: a simple but effective method for explaining language models
• Title（参考訳）: 逐次統合グラディエント:言語モデルを説明するシンプルで効果的な方法
• Authors: Joseph Enguehard
• Abstract要約: SIG(Sequential Integrated Gradients)と呼ばれる言語モデルを記述する新しい手法を提案する。 SIGは、文中の各単語の重要性を計算し、他のすべての単語を固定し、ベースラインと興味のある単語の間にのみ生成する。 我々はSIGが言語モデルを説明するのに非常に効果的な方法であることを証明した様々なモデルとデータセットを示す。
• 参考スコア（独自算出の注目度）: 0.18459705687628122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several explanation methods such as Integrated Gradients (IG) can be characterised as path-based methods, as they rely on a straight line between the data and an uninformative baseline. However, when applied to language models, these methods produce a path for each word of a sentence simultaneously, which could lead to creating sentences from interpolated words either having no clear meaning, or having a significantly different meaning compared to the original sentence. In order to keep the meaning of these sentences as close as possible to the original one, we propose Sequential Integrated Gradients (SIG), which computes the importance of each word in a sentence by keeping fixed every other words, only creating interpolations between the baseline and the word of interest. Moreover, inspired by the training procedure of several language models, we also propose to replace the baseline token "pad" with the trained token "mask". While being a simple improvement over the original IG method, we show on various models and datasets that SIG proves to be a very effective method for explaining language models.
• Abstract（参考訳）: 統合グラディエント(IG)のようないくつかの説明手法は、データと非形式的ベースラインの間の直線に依存するため、パスベースの方法として特徴づけられる。 しかし、言語モデルに適用した場合、これらの手法は文の各単語の経路を同時に生成するので、補間された単語から、明確な意味を持たないか、原文とはかなり異なる意味を持つ文を生成することができる。 これらの文の意味を原文と可能な限り近いものにするために,文中の各単語の重要度を計算する逐次統合勾配 (Sequential Integrated Gradients, SIG) を提案する。 さらに,いくつかの言語モデルの学習手順に触発されて,ベースライントークン "pad" をトレーニングトークン "mask" に置き換えることを提案する。 元のIG法よりも単純な改良であるが、SIGが言語モデルを説明するのに非常に効果的な方法であることを証明した様々なモデルやデータセットについて示す。

関連論文リスト

• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Multilingual Lexical Simplification via Paraphrase Generation [19.275642346073557]
  パラフレーズ生成による新しい多言語LS法を提案する。 パラフレーズ処理は多言語ニューラルマシン翻訳におけるゼロショット翻訳タスクとみなす。 提案手法は,英語,スペイン語,ポルトガル語で,BERT法とゼロショットGPT3法を大きく上回る。
  論文  参考訳（メタデータ） (2023-07-28T03:47:44Z)
• Human Inspired Progressive Alignment and Comparative Learning for Grounded Word Acquisition [6.47452771256903]
  我々は、人間の赤ちゃんが最初の言語をどのように習得するかからインスピレーションを得て、比較学習を通じて単語獲得のための計算プロセスを開発した。 認知的発見を動機として,様々な属性の類似点と相違点を計算モデルで比較できる小さなデータセットを作成した。 我々は、単語の獲得を情報フィルタリングのプロセスだけでなく、表現-シンボルマッピングにもとづいている。
  論文  参考訳（メタデータ） (2023-07-05T19:38:04Z)
• From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding [22.390804161191635]
  自然言語理解のための現在の最先端モデルは、原文を離散トークンに変換するための前処理ステップを必要とする。 トークン化として知られるこのプロセスは、事前に構築された単語またはサブワード形態素の語彙に依存している。 階層的な2段階のアプローチを採用する新しいオープン語彙言語モデルを導入する。
  論文  参考訳（メタデータ） (2023-05-23T23:22:20Z)
• Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer [6.467090475885798]
  この摂動モデルを完成させるEPAAE(Perturbed Adrial AutoEncoders)を導入する。 これは、(a)スタイル的に類似した文をまとめるより優れた組織化された潜在空間を生み出すことを実証的に示す。 また、テキストスタイルの転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。
  論文  参考訳（メタデータ） (2022-05-04T20:04:24Z)
• Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP [22.772546707304766]
  単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。 すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
  論文  参考訳（メタデータ） (2021-12-20T13:04:18Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。