論文の概要: Dancing Tokens on the Vocabulary Network from LLM Generation
- arxiv url: http://arxiv.org/abs/2611.18248v1
- Date: Fri, 13 Nov 2026 14:43:55 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:20.581998
- Title: Dancing Tokens on the Vocabulary Network from LLM Generation
- Title(参考訳): LLM生成による語彙ネットワーク上のトークンのダンシング
- Abstract要約: 大規模言語モデル(LLM)は、一度に1つのトークンを生成する。
特定の世代が事前学習で学んだ幾何学とどのように関係するかは、まだ不明である。
我々は6つのオープンLCMの入力埋め込みとマップ生成から類似性ネットワークを構築する。
- 参考スコア(独自算出の注目度): 0.7614628596146601
- License:
- Abstract: Large language models (LLMs) generate text one token at a time, yet how a particular generation relates to the geometry learned in pre-training remains unclear. The fundamental explainability of LLMs is elusive. Here, we build a similarity network from the input embeddings of six open LLMs and map generation onto it. The token-embedding network is scale-free while heavy-tailed, as are random embeddings with matched covariance, but far more fragmented. Distillation barely changes this topology because input embeddings are largely inherited. The knowledge space is thus deterministic from pre-training. Consecutive generated tokens are rarely graph neighbours and, in most models, no more often than in shuffled order, so generation is not a walk on the predefined network, although the tokens it visits are concentrated within it. Through the logit lens in a layer- wise manner, tokens settle late in depth in most models, and repetitive models remain confined to small domain-specific sub-graphs. These observables could serve as inference-time monitors of degeneration. We thus provide a fresh perspective on understanding LLM generation in the microscopic way from node or link prediction by graph learning.
- Abstract(参考訳): 大規模言語モデル (LLMs) はテキストを1つずつ生成するが、特定の世代が事前学習で学習した幾何学とどのように関係するかは定かではない。
LLMの基本的説明可能性は非常に高い。
ここでは、6つのオープンLCMの入力埋め込みとマップ生成から類似性ネットワークを構築する。
トークン埋め込みネットワークはスケールフリーであり、重み付きであり、一致した共分散を持つランダムな埋め込みであるが、より断片化されている。
蒸留は、入力埋め込みがほとんど継承されているため、このトポロジーをほとんど変更しない。
したがって、知識空間は事前学習とは決定論的である。
連続的に生成されたトークンはグラフ近傍にはほとんど存在せず、ほとんどのモデルではシャッフルオーダーに限らず、生成は事前に定義されたネットワーク上のウォークではないが、訪問するトークンはその内部に集中している。
ロジットレンズをレイヤーワイズに通し、トークンはほとんどのモデルで遅くまで落ち着き、繰り返しモデルは小さなドメイン固有のサブグラフに限られる。
これらの観測装置は、変性の予測時間モニターとして機能する。
そこで我々は,グラフ学習によるノードやリンク予測からLLM生成を顕微鏡的に理解する上で,新たな視点を提供する。
関連論文リスト
- Kelix Technical Report [86.64551727600104]
我々は、完全離散自己回帰統一モデルであるKelixを紹介し、離散的および連続的な視覚表現間の理解ギャップを埋める。
最近の研究は、完全自己回帰型マルチモーダルモデリングを可能にするために、離散的な視覚的トークン化を探求している。
論文 参考訳(メタデータ) (2026-02-10T14:48:26Z) - Generative Multimodal Pretraining with Discrete Diffusion Timestep Tokens [66.02261367232256]
MLLM(Multimodal Large Language Models)は、視覚的理解と生成を統一することを目的としている。
既存のアプローチは空間的トークンに依存しており、画像パッチは空間的順序に応じてエンコードされ配置される。
本稿では,個別の視覚トークンを学習するために拡散時間ステップを再構成し,適切な視覚言語を構築する。
論文 参考訳(メタデータ) (2025-04-20T16:14:28Z) - FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。
いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
論文 参考訳(メタデータ) (2024-10-27T15:53:49Z) - LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings [7.302176015732192]
Token Embedding-Aligned Graph Language Model (TEA-GLM) という新しいフレームワークを紹介する。
我々はGNNを事前訓練し、その表現をLLMのトークン埋め込みと整列する。
次に、GNNの表現を固定数のグラフトークン埋め込みに変換する線形プロジェクタを訓練する。
論文 参考訳(メタデータ) (2024-08-25T04:32:45Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。