論文の概要: DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions

• arxiv url: http://arxiv.org/abs/2607.20469v1
• Date: Thu, 21 May 2026 18:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.185297
• Title: DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions
• Title（参考訳）: DecodeShare: LLM Decode-Time決定の共有サブスペースの追跡
• Authors: Zishan Shao, Lixun Zhang, Kangning Cui, Yixiao Wang, Ting Jiang, Hancheng Ye, Qinsi Wang, Zhixu Du, Yuzhe Fu, Fan Yang, Danyang Zhuo, Yiran Chen, Hai Helen Li,
• Abstract要約: DecodeShareは、デコード時隠れ状態においてタスク間で一貫して共有される低次元のサブスペースを識別するプロトコルである。 このデコード共有サブスペースは,アクティベーションステアリングに実用的な結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 21.411615377525454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) handle many tasks with one set of parameters, but under KV-cached inference it is unclear what task-general structure, if any, is used at decode time rather than during prefill. We propose DecodeShare, a protocol that identifies a low-dimensional subspace consistently shared across tasks in decode-time hidden states, and then tests its causal role by removing that subspace only during decoding. In our experiments, disturbing the discovered shared subspace degrades decision performance far more than disturbing either a prefill-derived or random subspace under the same intervention budget. We further show this decode-shared subspace has practical consequences for activation steering: common steering directions can overlap the task-general decode channel. Projecting out this shared subspace directly separates the functional roles of the two components, while evaluating steering vectors at decode-time yields more reliable signal for downstream deployment than prefill-based proxies. Despite its compactness, the shared subspace can serve as a high-leverage causal channel at decode time. Code is available at: https://github.com/Zishan-Shao/decodeshare.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)は1組のパラメータで多くのタスクを処理するが、KVキャッシュの推論では、プリフィル時にではなくデコード時にどのタスク・ジェネラル構造が使われるかは明らかではない。 DecodeShareは、デコード時隠れ状態のタスク間で一貫して共有される低次元のサブスペースを識別し、デコード時にのみそのサブスペースを削除することで、その因果的役割をテストするプロトコルである。 実験では, 共有部分空間の乱れは, 同じ介入予算の下で, プリフィルやランダムな部分空間を乱すよりも, 決定性能を劣化させる。 さらに、このデコード共有サブスペースは、アクティベーションステアリングに実用的な結果をもたらすことを示す: 共通のステアリング方向は、タスク・ジェネラルデコードチャネルと重なる可能性がある。 この共有サブスペースを投影することで,2つのコンポーネントの機能的役割を直接分離すると同時に,デコード時のステアリングベクトルの評価により,プリフィルベースのプロキシよりもダウンストリームデプロイメントの信頼性の高い信号が得られる。 そのコンパクトさにもかかわらず、共有サブスペースはデコード時の高平均因果チャネルとして機能する。 コードは、https://github.com/Zishan-Shao/decodeshare.git.comで入手できる。

関連論文リスト

• Sangam: Efficiently Serving Diffusion LLMs with the AR Stack [17.99098877266759]
  拡散言語モデル(dLLMs)は、マスキングされた応答を反復的に認知することでテキストを生成する。 キャッシュされたdLLM推論のためのサーブシステムであるSangamについて述べる。
  論文  参考訳（メタデータ） (2026-07-05T09:55:29Z)
• Fast Multi-dimensional Refusal Subspaces via RFM-AGOP [0.0]
  Recursive Feature Machineは、複数次元のサブスペースを数秒で識別できる。 様々な方法によって発見された部分空間間の関係をよりよく理解するために、さらなる研究が計画されている。 もし確認できれば、RAMは大規模言語モデルにおける既存の部分空間抽出手法の安価でスケーラブルな補完となる可能性がある。
  論文  参考訳（メタデータ） (2026-07-02T16:31:56Z)
• 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
  本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。 DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する 単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
  論文  参考訳（メタデータ） (2025-12-07T06:11:15Z)
• SCOPE: Intrinsic Semantic Space Control for Mitigating Copyright Infringement in LLMs [39.14996705577274]
  SCOPEはパラメータ更新や補助フィルタを必要としない推論時間法である。 著作権に敏感なサブスペースを特定し、デコード時にそのアクティベーションを切断する。 広く知られるベンチマークの実験は、SCOPEが汎用性を低下させることなく著作権侵害を軽減していることを示している。
  論文  参考訳（メタデータ） (2025-11-10T11:53:07Z)
• LLavaCode: Compressed Code Representations for Retrieval-Augmented Code Generation [8.868449925993994]
  コードLLMで解釈可能なコンパクトで意味豊かな表現にコードを圧縮するフレームワークであるLlavaCodeを紹介した。 本実験は, 圧縮コンテキストにより, ライン完了作業におけるTTFT(Time-to-First-Token)の20～38%の削減が可能であることを実証した。
  論文  参考訳（メタデータ） (2025-10-22T14:49:21Z)
• Decoding in Latent Spaces for Efficient Inference in LLM-based Recommendation [75.72196852363116]
  光遅延空間復号法(L2D)は効率的かつ効率的な遅延空間復号法である。 L2Dは言語空間の復号化よりも10倍以上高速で、性能の維持や向上が可能である。
  論文  参考訳（メタデータ） (2025-09-15T02:30:35Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。