論文の概要: Every Component is a Lookup: Token Attribution and Composition from a Single Decomposition

• arxiv url: http://arxiv.org/abs/2605.23393v1
• Date: Fri, 22 May 2026 09:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.274391
• Title: Every Component is a Lookup: Token Attribution and Composition from a Single Decomposition
• Title（参考訳）: すべてのコンポーネントはルックアップ:1つの分解からのトークン属性とコンポジション
• Authors: Po-Kai Chen, Niki van Stein, Aske Plaat,
• Abstract要約: We exploit a shared key-value template $(S)U$ to developing Unpack, a backward recursion that decomposes credit through both sublayers。 GPT-2では、Wang et al. (2023) によって記述された3つの合成接続をすべて復元し、各接続のモード固有のルーティングを含む。 160Mから6.9Bまでのピキア族全体において、この抑制パターンはあらゆるスケールで一貫して回復される。
• 参考スコア（独自算出の注目度）: 1.3290717106567922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mechanistic interpretability of transformers requires identifying not just which components matter but how they compose into the computational route that produced a prediction. Both attention and MLP follow a shared key-value template $φ(S)U$. We exploit this structure to develop Unpack, a backward recursion that decomposes credit through both sublayers, producing interaction strengths between any two components, named end-to-end paths with K/Q/V composition labels, and per-token attribution from a single forward pass, without intervention, gradients, or auxiliary training. We evaluate on the indirect object identification task. On GPT-2 small, the method recovers all three composition connections described by Wang et al. (2023), including the mode-specific routing of each connection (K, Q, or V). To test token-level attribution beyond trivial copying, we compare two occurrences of the same name in the same decomposition: the first mention retains strong credit while the duplicate-detection position is suppressed, a pattern absent in matched control prompts. Across the Pythia family from 160M to 6.9B parameters, this suppression pattern is consistently recovered at every scale, demonstrating that the method tracks mechanistic structure without ground-truth circuit labels. Code is available at https://github.com/Fun-Cry/unpacklm.
• Abstract（参考訳）: 変圧器の機械的解釈可能性には、どのコンポーネントが重要かだけでなく、予測を生成する計算経路にどのように構成するかを特定する必要がある。 注意と MLP は共に共有キー値テンプレート $φ(S)U$ に従う。 我々はこの構造を利用してUnpackを開発する。Unpackは2つのサブレイヤ間での信用関係を分解し、K/Q/V合成ラベルを持つエンド・ツー・エンドパスと、介入、勾配、補助訓練を伴わずにワン・ツー・エンド・パスからの1対1の帰属という2つのコンポーネント間の相互作用強度を生成する。 間接オブジェクト識別タスクについて評価する。 GPT-2では、各接続(K、Q、V)のモード固有のルーティングを含む、Wang et al(2023)で記述された3つの合成接続を復元する。 トークンレベルの属性を自明なコピーを超えてテストするために、同じ名前の2つの発生を同じ分解で比較する:最初の言及は、重複検出位置を抑えながら強い信用を維持し、一致した制御プロンプトに欠落するパターンである。 160Mから6.9BまでのPythia族全体において、この抑制パターンはあらゆるスケールで一貫して回復され、この手法が地絡回路ラベルを使わずに機械的構造を追跡することを示した。 コードはhttps://github.com/Fun-Cry/unpacklm.comで入手できる。

関連論文リスト

• SliceGraph: Mapping Process Isomers in Multi-Run Chain-of-Thought Reasoning [60.650808962786364]
  我々は、CoTスライス間の疎活性化キージャカード類似性に対して、相互kNNによって構築された問題モデル-セルグラフであるSliceGraphを提案する。 同じ正規化された回答を共有する正しいCoTは、複数のプロセスファミリに分割されていることを示す。 また、プロセスファミリは、一致したnull制御の下で異なる遷移カーネルで同じアトラスをナビゲートすることを示す。
  論文  参考訳（メタデータ） (2026-05-14T09:37:26Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes [2.741152471987327]
  標準スパースオートエンコーダプロトコルは、各機能をトップアクティベーションコンテキストからラベル付けし、単一機能ステアリングによって検証する。 本稿では,Qwen3-1.7B-Instruct上での標準ワンコーナプロトコルミスをGemma-2-2B-itで再現した,ペアワイズ行列プロトコルと共変ステアリング係数を提案する。 これら3つの所見はGemmaでモデル特異的な損傷シグネチャを再現し,一致した形状制御はCIを10倍に分離する。
  論文  参考訳（メタデータ） (2026-05-04T21:11:21Z)
• To Copy or Not to Copy: Copying Is Easier to Induce Than Recall [5.057026826740146]
  言語モデルは、重みに格納されたパラメトリック知識と、プロンプトの文脈情報とを仲裁しなければならない。 本研究は, モデルアクティベーションから慣性ベクトルを抽出し, その選択に関する力学的検討を行う。
  論文  参考訳（メタデータ） (2026-01-17T14:46:29Z)
• SETR: A Two-Stage Semantic-Enhanced Framework for Zero-Shot Composed Image Retrieval [4.230223288110963]
  Zero-shot Composed Image Retrieval (ZS-CIR)は、トリプルトアノテーションに頼ることなく、参照画像と相対テキストが与えられたターゲット画像を取得することを目的としている。 既存のCLIPベースの手法では、(1)組合ベースの特徴融合は、意図した変更を希釈する無関係な背景の詳細を担いながら、すべての視覚的手がかりを無差別に集約し、(2)CLIP埋め込みからのグローバルなコサイン類似性は、きめ細かいセマンティックな関係を解く能力に欠ける。
  論文  参考訳（メタデータ） (2025-09-30T09:41:52Z)
• Token Merging for Training-Free Semantic Binding in Text-to-Image Synthesis [98.21700880115938]
  Text-to-image (T2I) モデルは、しばしば入力プロンプトに意味的に関連付けられたオブジェクトや属性を正確に結合するのに失敗する。 Token Merging(ToMe)と呼ばれる新しい手法を導入し、関連するトークンを1つの複合トークンに集約することでセマンティックバインディングを強化する。
  論文  参考訳（メタデータ） (2024-11-11T17:05:15Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• GEN-VLKT: Simplify Association and Enhance Interaction Understanding for HOI Detection [17.92210977820113]
  本稿では,2分岐パイプラインをポストマッチングなしで実現するためのガイド埋め込みネットワーク(GEN)を提案する。 協会にとって、以前の2枝の手法は複雑でコストのかかるポストマッチングに悩まされる。 相互作用理解のために、従来の手法は長い尾の分布とゼロショット発見に悩まされていた。
  論文  参考訳（メタデータ） (2022-03-26T01:04:13Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。