論文の概要: Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference

• arxiv url: http://arxiv.org/abs/2501.15754v1
• Date: Mon, 27 Jan 2025 03:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:13.085200
• Title: Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference
• Title（参考訳）: 言語モデルにおけるデトケン化の重みに基づく分析--推論なしでの推論の第一段階を理解する
• Authors: Go Kamoda, Benjamin Hienzerling, Tatsuro Inaba, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui,
• Abstract要約: モデルの重みを解析することにより,デトケン化段階のいくつかの重要な側面を純粋に理解できることが示されている。 我々の分解は、位置関連、トークン関連、混合効果の相対的寄与を定量化する解釈可能な用語をもたらす。
• 参考スコア（独自算出の注目度）: 27.913884291273412
• License:
• Abstract: According to the stages-of-inference hypothesis, early layers of language models map their subword-tokenized input, which does not necessarily correspond to a linguistically meaningful segmentation, to more meaningful representations that form the model's ``inner vocabulary''. Prior analysis of this detokenization stage has predominantly relied on probing and interventions such as path patching, which involve selecting particular inputs, choosing a subset of components that will be patched, and then observing changes in model behavior. Here, we show that several important aspects of the detokenization stage can be understood purely by analyzing model weights, without performing any model inference steps. Specifically, we introduce an analytical decomposition of first-layer attention in GPT-2. Our decomposition yields interpretable terms that quantify the relative contributions of position-related, token-related, and mixed effects. By focusing on terms in this decomposition, we discover weight-based explanations of attention bias toward close tokens and attention for detokenization.
• Abstract（参考訳）: 推論の段階的仮説によれば、初期の言語モデルの層は、必ずしも言語的に意味のあるセグメンテーションに対応しないサブワード・トークン化された入力を、モデルの 'inner vocabulary'' を形成するより意味のある表現にマッピングする。 このデトケン化段階の以前の分析は、主に、特定の入力を選択し、パッチされるコンポーネントのサブセットを選択し、モデル行動の変化を観察するパスパッチのような、探索と介入に依存してきた。 ここでは,モデルの重みを解析することにより,モデル推論のステップを行わずに,デトケン化段階の重要な側面を純粋に理解することができることを示す。 具体的には,GPT-2における第1層注意の分析分解について紹介する。 我々の分解は、位置関連、トークン関連、混合効果の相対的寄与を定量化する解釈可能な用語をもたらす。 この分解における用語に焦点をあてることで、密接なトークンに対する注意バイアスの重みに基づく説明と、脱トークン化への注意を明らかにする。

関連論文リスト

• How Language Models Prioritize Contextual Grammatical Cues? [3.9790222241649587]
  複数のジェンダーキュー語が存在する場合、言語モデルがジェンダー合意をどのように扱うかを検討する。 この結果から,エンコーダベースのモデルとデコーダベースのモデルでは,予測にコンテキスト情報を優先し,使用する方法に顕著な違いが認められた。
  論文  参考訳（メタデータ） (2024-10-04T14:09:05Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Estimating the Causal Effects of Natural Logic Features in Neural NLI Models [2.363388546004777]
  我々は、広く使われているモデルにおいて、体系的な推論失敗を特定し、定量化するのに十分な構造と規則性を持った推論の特定のパターンに着目する。 文脈介入の効果を測定するために因果効果推定手法を適用した。 異なる設定におけるNLPモデルの因果解析に関する関連する研究に続いて、NLIタスクの方法論を適用して比較モデルプロファイルを構築する。
  論文  参考訳（メタデータ） (2023-05-15T12:01:09Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Probing for Bridging Inference in Transformer Language Models [15.216901057561428]
  私達は最初にBERTの個々の注意の頭部を調査し、より高い層の注意の頭部が橋渡しの関係に顕著な焦点を合わせることを観察します。 我々は,anaphora分解能をマスキングトークン予測タスクとして定式化するアプローチにおいて,言語モデル全体を考察する。 提案手法は,事前学習された言語モデルがブリッジング推論を実質的に捉えていることを示す。
  論文  参考訳（メタデータ） (2021-04-19T15:42:24Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。