論文の概要: Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs

• arxiv url: http://arxiv.org/abs/2406.20086v3
• Date: Fri, 11 Oct 2024 16:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:50.263006
• Title: Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs
• Title（参考訳）: LLMにおける不必要な語彙項目のフットプリントとしてのトークン消去
• Authors: Sheridan Feucht, David Atkinson, Byron Wallace, David Bau,
• Abstract要約: Llama-2-7b のトークン化子は、"northeast" という単語をトークン ['_n', 'ort', 'he', 'astern'] に分割する。 本研究では,名前付きエンティティとマルチトークン語の最後のトークン表現が,先行および現在のトークンに関する情報が早期の層で急速に忘れられるような,顕著な「消去」効果を示すことを示す。
• 参考スコア（独自算出の注目度）: 20.1025293763531
• License:
• Abstract: LLMs process text as sequences of tokens that roughly correspond to words, where less common words are represented by multiple tokens. However, individual tokens are often semantically unrelated to the meanings of the words/concepts they comprise. For example, Llama-2-7b's tokenizer splits the word "northeastern" into the tokens ['_n', 'ort', 'he', 'astern'], none of which correspond to semantically meaningful units like "north" or "east." Similarly, the overall meanings of named entities like "Neil Young" and multi-word expressions like "break a leg" cannot be directly inferred from their constituent tokens. Mechanistically, how do LLMs convert such arbitrary groups of tokens into useful higher-level representations? In this work, we find that last token representations of named entities and multi-token words exhibit a pronounced "erasure" effect, where information about previous and current tokens is rapidly forgotten in early layers. Using this observation, we propose a method to "read out" the implicit vocabulary of an autoregressive LLM by examining differences in token representations across layers, and present results of this method for Llama-2-7b and Llama-3-8B. To our knowledge, this is the first attempt to probe the implicit vocabulary of an LLM.
• Abstract（参考訳）: LLMはテキストを、大まかに単語に対応するトークンのシーケンスとして処理し、より一般的な単語は複数のトークンで表される。 しかし、個々のトークンはしばしば、それらを構成する単語や概念の意味と意味的に無関係である。 例えば、Llama-2-7bのトークン化子は、"northeast" という単語をトークン ['_n', 'ort', 'he', 'astern'] に分割する。 同様に、"Neil Young"のような名前付きエンティティや"break a leg"のようなマルチワード表現の全体的な意味は、構成トークンから直接推測することはできない。 機械的に、LLMはどのようにしてそのような任意のトークン群を有用な高レベル表現に変換するのか? 本研究では,名前付きエンティティとマルチトークン語の最後のトークン表現が,先行および現在のトークンに関する情報が早期の層で急速に忘れられるような,顕著な「消去」効果を示すことを示す。 本研究は,Llama-2-7bとLlama-3-8Bのトークン表現の違いを検証し,自己回帰型LLMの暗黙の語彙を読み出す手法を提案する。 我々の知る限り、これはLLMの暗黙の語彙を探索する最初の試みである。

関連論文リスト

• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence [6.991281327290525]
  言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法は,構文表現における境界変数のリネームが意味論を保存する原理であるα等価性に対処するように設計されている。
  論文  参考訳（メタデータ） (2024-10-22T16:34:36Z)
• Team Ryu's Submission to SIGMORPHON 2024 Shared Task on Subword Tokenization [3.0023392750520883]
  サブワードトークン化手法の一部として形態素セグメンテーション法が利用できるかどうかを考察する。 予測結果から, 形態的セグメンテーションは, 一般的に使われているサブワードトークン化剤と同じくらい有効である可能性が示唆された。 バランスの取れたトークンの頻度分布を持つトークン化器は、よりうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2024-10-19T04:06:09Z)
• From Tokens to Words: On the Inner Lexicon of LLMs [7.148628740938674]
  自然言語は単語から成り立っているが、現代のLLMはサブワードを入力として処理する。 本稿では,LLMが単語列をコヒーレントな単語表現に結合する固有デトケン化過程に関与することを示す。 以上の結果から, LLMはトークン化のスコープを超えて, 潜在語彙を保っていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-08T09:53:35Z)
• CUTE: Measuring LLMs' Understanding of Their Tokens [54.70665106141121]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示す。 LLMはどの程度の間、正書法情報を学ぶことができるのか? LLMの正書法知識をテストするために設計されたタスクの集合を特徴とする新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T18:27:03Z)
• A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
  テキストを埋め込みモデルに入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致します。 この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。 最初のプリンシパルコンポーネントを調整することで、テキストの埋め込みをキートークンと整列することができます。
  論文  参考訳（メタデータ） (2024-06-25T08:55:12Z)
• Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs [63.29737699997859]
  大規模言語モデル(LLM)は、マルチモーダルな微調整をせずに、マルチモーダルなタスクにおいて印象的なパフォーマンスを示した。 本研究では,画像,ビデオ,音声,テキストの入力に凍結LDMを公開し,内部表現を解析する。
  論文  参考訳（メタデータ） (2024-05-26T21:31:59Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。