論文の概要: The First Token Is a Clue: Verbalizing Multi-Token Concepts from the J-lens
- arxiv url: http://arxiv.org/abs/2608.31084v1
- Date: Mon, 31 Aug 2026 16:56:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.527546
- Title: The First Token Is a Clue: Verbalizing Multi-Token Concepts from the J-lens
- Title（参考訳）: 最初のTokenは、J-lensからのマルチトークン概念のバーバリゼーション
- Abstract要約: マルチトークンの概念の最初のトークンは,シングルトークンの概念と同じくらい可読性が高いことを示す。
次に、各候補のベクトルを復元し、完全語彙とともにスコアする。
これらの結果から,先進的な手掛かりはマルチトークンの概念回復を導出し,後続の隠れ状態は読み出しと介入のためのベクトルを与えることがわかった。
- 参考スコア（独自算出の注目度）: 4.01298600589296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Jacobian Lens (J-lens) is a recent tool for interpreting LLMs. It reads a hidden state as a ranked list of vocabulary tokens, leaving multi-token concepts without a representation of their own. The original J-lens work addresses this limitation with Template Lens, which precomputes vectors for a fixed phrase vocabulary, and Oracle Lens, which fine-tunes components to propose phrases and reconstruct phrase vectors. We ask whether multi-token concepts and their vectors can instead be recovered directly from J-lens and the frozen model. We find that the first token of a multi-token concept is about as readable as a single-token concept. Given the correct first token and source prompt, the frozen model recovers the second token in 88.3% of two-token cases. We show that a vector for the complete concept can be recovered from subsequent hidden states in a single forward pass. We therefore use J-lens to propose first tokens and let the frozen model complete candidate concepts. We then recover a vector for each candidate and score it alongside the complete vocabulary. Across 496 multi-hop clozes on Gemma-3-12B-IT, Llama-3.1-8B, and Qwen3-14B, our method achieves an average $\mathrm{Rank@}10$ of 43.1%, compared with 27.6% for Template Lens. Without the J-lens clue, performance drops to 21.6%, showing that the first-token clue substantially improves readout. Causal concept swaps using the recovered vectors achieve an average $\mathrm{succ}@10$ of 61.4%, compared with 26.2% for Template Lens under the same intervention. These results show that first-token clues can guide multi-token concept recovery, while subsequent hidden states provide vectors for readout and intervention.
- Abstract（参考訳）: Jacobian Lens (J-lens)は、LLMを解釈するための最近のツールである。
隠された状態は語彙トークンのランクリストとして読み出され、自己表現なしでマルチトークンの概念を残している。
元々のJ-lensの作業は、固定句語彙のベクトルをプリコンプリートするTemplate Lensと、フレーズの提案とフレーズベクトルの再構築のための微調整コンポーネントであるOracle Lensによって、この制限に対処している。
マルチトークンの概念とそのベクトルを直接J-lensと凍結モデルから回収できるかどうかを問う。
マルチトークンの概念の最初のトークンは、シングルトークンの概念と同じくらい可読性が高いことが分かりました。
正しい第1のトークンとソースプロンプトが与えられた場合、凍結されたモデルは2つのトークンの88.3%で第2のトークンを復元する。
完全概念のベクトルは、後続の隠れ状態から1つの前方パスで復元可能であることを示す。
したがって、最初のトークンの提案にJ-lensを使用し、凍結モデルが候補概念を完全化する。
次に、各候補のベクトルを復元し、完全語彙とともにスコアする。
Gemma-3-12B-IT, Llama-3.1-8B, Qwen3-14B 上の 496 個のマルチホップクローゼに対して,テンプレートレンズの平均値が 43.1% であるのに対し, テンプレートレンズの平均値が 27.6% である。
J-lensのヒントがなければ、パフォーマンスは21.6%に低下する。
回収されたベクトルを使った因果関係の交換は平均$\mathrm{succ}@10$ 61.4%となるが、テンプレートレンズの場合は26.2%である。
これらの結果から,先進的な手掛かりはマルチトークンの概念回復を導出し,後続の隠れ状態は読み出しと介入のためのベクトルを与えることがわかった。
関連論文リスト
- PARTREP: Learning What to Repeat for Decoder-only LLMs [12.053018926036678]
PartRepは、最も情報性の高いトークンのみを付加する選択的な拡張方法である。
我々は、初期層隠れ状態から高NLLトークンを予測する軽量ゲートを訓練する。
PartRep は KV キャッシュの 59.4% と 79.0% のプレフィル FLOP を使用しながら、フル繰り返しの利益のほとんどを維持している。
論文 参考訳（メタデータ） (2026-07-02T07:07:28Z) - Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。
TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
論文 参考訳（メタデータ） (2025-11-11T18:57:02Z) - SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
論文 参考訳（メタデータ） (2025-10-28T09:29:37Z) - Improving Large Language Models with Concept-Aware Fine-Tuning [55.59287380665864]
概念認識ファインチューニング(CAFT)は,大規模言語モデル(LLM)のための新しいマルチトークン学習手法である
CAFTは複数のトークンにまたがるシーケンスの学習を可能にし、より強力な概念認識学習を促進する。
実験は、従来の次世代ファインタニング法と比較して大幅に改善された。
論文 参考訳（メタデータ） (2025-06-09T14:55:00Z) - TokAlign: Efficient Vocabulary Adaptation via Token Alignment [41.59130966729569]
トークン化は、大規模言語モデル(LLM)がテキストを処理するための基本的なステップである。
新しいドメインや言語では、トークン化の非効率性はLLMのトレーニングと生成を遅くする。
トークン共起ビューからLLMの語彙を置き換えるために,TokAlignという効率的な手法を提案する。
論文 参考訳（メタデータ） (2025-06-04T03:15:57Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳（メタデータ） (2025-02-02T13:10:06Z) - FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。
いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
論文 参考訳（メタデータ） (2024-10-27T15:53:49Z) - Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs [20.1025293763531]
Llama-2-7b のトークン化子は、"northeast" という単語をトークン ['_n', 'ort', 'he', 'astern'] に分割する。
本研究では,名前付きエンティティとマルチトークン語の最後のトークン表現が,先行および現在のトークンに関する情報が早期の層で急速に忘れられるような,顕著な「消去」効果を示すことを示す。
論文 参考訳（メタデータ） (2024-06-28T17:54:47Z) - Matryoshka Query Transformer for Large Vision-Language Models [103.84600181927884]
我々は,Materyoshka Query Transformer (MQT)を導入し,推論中に画像をmビジュアルトークンにエンコードする。
単一のモデルを一度トレーニングし、フレキシブルかつ劇的に、推論時の視覚トークンの数を削減します。
MQT-LLAVAは,LLaVAの固定576の代わりに最大256トークンを用いて,11ベンチマークでLLaVA-1.5のパフォーマンスと一致した。
論文 参考訳（メタデータ） (2024-05-29T17:39:42Z) - Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。
代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう?
私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
論文 参考訳（メタデータ） (2023-10-03T17:32:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。