論文の概要: Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions
- arxiv url: http://arxiv.org/abs/2305.10614v2
- Date: Fri, 2 Jun 2023 22:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 01:21:01.640157
- Title: Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions
- Title（参考訳）: モデル予測解析のための自己回帰型言語モデル隠れ状態のトークン分解
- Authors: Byung-Doh Oh, William Schuler
- Abstract要約: 本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
- 参考スコア（独自算出の注目度）: 9.909170013118775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While there is much recent interest in studying why Transformer-based large
language models make predictions the way they do, the complex computations
performed within each layer have made their behavior somewhat opaque. To
mitigate this opacity, this work presents a linear decomposition of final
hidden states from autoregressive language models based on each initial input
token, which is exact for virtually all contemporary Transformer architectures.
This decomposition allows the definition of probability distributions that
ablate the contribution of specific input tokens, which can be used to analyze
their influence on model probabilities over a sequence of upcoming words with
only one forward pass from the model. Using the change in next-word probability
as a measure of importance, this work first examines which context words make
the biggest contribution to language model predictions. Regression experiments
suggest that Transformer-based language models rely primarily on collocational
associations, followed by linguistic factors such as syntactic dependencies and
coreference relationships in making next-word predictions. Additionally,
analyses using these measures to predict syntactic dependencies and coreferent
mention spans show that collocational association and repetitions of the same
token largely explain the language models' predictions on these tasks.
- Abstract（参考訳）: トランスフォーマーをベースとした大規模言語モデルがなぜその動作を予測しているのかを研究することに関心があるが、各層で実行される複雑な計算は、その振る舞いを幾分不透明にしている。
この不透明さを緩和するために、本研究では、ほぼ全ての現代のトランスフォーマーアーキテクチャにおいて正確である、各初期入力トークンに基づく自己回帰言語モデルから最終的な隠れ状態の線形分解を示す。
この分解により、特定の入力トークンの寄与を緩和する確率分布の定義が可能になり、モデルから1つの前方通過しか持たない次の単語の列に対するモデル確率への影響を分析するのに使用できる。
本研究は,次の単語の確率の変化を重要度指標として,まず言語モデル予測に最も寄与する文脈単語について検討する。
回帰実験により、トランスフォーマティブベースの言語モデルは、主にコロケーション関係に依存し、次単語予測において構文依存性やコリファレンス関係などの言語的要因が続くことが示唆された。
さらに、これらの尺度を用いて構文依存やコアフェレント参照スパンを予測した結果、同じトークンのコロケーション関連と繰り返しは、これらのタスクにおける言語モデルの予測を大きく説明している。
関連論文リスト
- CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。
我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
論文 参考訳（メタデータ） (2024-09-30T06:24:43Z) - Slaves to the Law of Large Numbers: An Asymptotic Equipartition Property for Perplexity in Generative Language Models [0.0]
言語モデルが生成する大きなテキストの難易度は,トークン分布の平均エントロピーに収束しなければならないことを示す。
この作業は、AI検出の理解と改善のための実践的な応用を可能にする。
論文 参考訳（メタデータ） (2024-05-22T16:23:40Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T14:48:27Z) - Probing for Incremental Parse States in Autoregressive Language Models [9.166953511173903]
自己回帰型ニューラルネットワークモデルからの次の単語予測は、構文に対する顕著な感度を示す。
この研究は、漸進的な構文構造の暗黙的な表現を維持する学習能力の結果として、この振る舞いが生じる範囲を評価する。
論文 参考訳（メタデータ） (2022-11-17T18:15:31Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳（メタデータ） (2022-03-21T01:16:44Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳（メタデータ） (2021-07-22T20:52:26Z) - On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。
どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
論文 参考訳（メタデータ） (2021-06-08T18:31:02Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳（メタデータ） (2020-10-15T16:57:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。