論文の概要: Vector Arithmetic in Concept and Token Subspaces

• arxiv url: http://arxiv.org/abs/2511.18162v1
• Date: Sat, 22 Nov 2025 19:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.662531
• Title: Vector Arithmetic in Concept and Token Subspaces
• Title（参考訳）: 概念とトーケン部分空間におけるベクトル算術
• Authors: Sheridan Feucht, Byron Wallace, David Bau,
• Abstract要約: Llama-2-7bにおけるコヒーレントなセマンティック構造を示すモデルアクティベーションのサブスペースを同定するために,概念ヘッドが利用できることを示す。 概念ヘッドの注意重みを用いて隠蔽状態を変換すると、より正確にパラレルグラム演算を行うことができる。 トークンヘッドは、隠れた状態における表面レベルの単語情報を明らかにする変換を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 17.34741816233279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In order to predict the next token, LLMs must represent semantic and surface-level information about the current word. Previous work identified two types of attention heads that disentangle this information: (i) Concept induction heads, which copy word meanings, and (ii) Token induction heads, which copy literal token representations (Feucht et al., 2025). We show that these heads can be used to identify subspaces of model activations that exhibit coherent semantic structure in Llama-2-7b. Specifically, when we transform hidden states using the attention weights of concept heads, we are able to more accurately perform parallelogram arithmetic (Mikolov et al., 2013) on the resulting hidden states, e.g., showing that "Athens" - "Greece" + "China" = "Beijing". This transformation allows for much higher nearest-neighbor accuracy (80%) than direct use of raw hidden states (47%). Analogously, we show that token heads allow for transformations that reveal surface-level word information in hidden states, allowing for operations like "coding" - "code" + "dance" = "dancing".
• Abstract（参考訳）: 次のトークンを予測するには、LLMは現在の単語に関する意味的および表面的な情報を表現しなければならない。 以前の研究では、この情報を混乱させる2つのタイプの注意頭が特定されました。 一 単語の意味を写す概念誘導ヘッド及び (二 通訳トークン表現を写したトークン誘導ヘッド(Feucht et al ,2025) Llama-2-7bにおけるコヒーレントな意味構造を示すモデルアクティベーションのサブスペースを同定するために,これらのヘッドが利用できることを示す。 具体的には、概念ヘッドの注意重みを用いて隠蔽状態の変換を行う場合、"Athens" - "Greece" + "China" = "Beijing" を示すために、結果の隠蔽状態、例えば「Athens」 - "Athens" - "Greece" + "China" = "Beijing" = "Beijing" をより正確に計算することができる。 この変換により、生の隠れ状態(47%)を直接使用するよりも、最も近い隣の精度(80%)が高い。 アナログ的に、トークンヘッドは、隠れた状態における表面レベルの単語情報を明らかにする変換を可能にし、"code" - "code" + "dance" = "dancing"のような操作を可能にする。

関連論文リスト

• Understanding In-context Learning of Addition via Activation Subspaces [73.8295576941241]
  そこで本研究では,入力に整数$k$を追加するという真の予測規則を,数ショット学習タスクの構造化されたファミリについて検討する。 次に、次元の減少と分解を通じて、個々の頭部の詳細な分析を行う。 この結果から,前進パスを横断する局所化頭部の低次元部分空間の追跡が,言語モデルにおける微粒化計算構造に対する洞察を与えることを示す。
  論文  参考訳（メタデータ） (2025-05-08T11:32:46Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• InfoCon: Concept Discovery with Generative and Discriminative Informativeness [7.160037417413006]
  我々は、様々なロボットタスクに適応し、再組み立て可能な操作概念の自己監督的な発見に焦点を当てる。 我々は、操作の概念を生成的かつ差別的な目標としてモデル化し、それらを意味のあるサブトラジェクトリに自律的にリンクできるメトリクスを導出する。
  論文  参考訳（メタデータ） (2024-03-14T14:14:04Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Future Lens: Anticipating Subsequent Tokens from a Single Hidden State [37.214633779288114]
  我々は、個々の入力トークンに対応する隠れ状態ベクトルが、前方の複数のトークンを正確に予測するのに十分な情報を符号化していると推測する。 我々は,GPT-J-6Bにおける線形近似と因果介入法を測定し,ネットワーク内の個々の隠れ状態が将来隠れ状態を予測するのに十分な信号を含む度合いと,最終的にトークン出力を評価する。
  論文  参考訳（メタデータ） (2023-11-08T18:56:35Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。