論文の概要: Depth-Attention: Cross-Layer Value Mixing for Language Models

• arxiv url: http://arxiv.org/abs/2606.05014v1
• Date: Wed, 03 Jun 2026 15:33:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.86231
• Title: Depth-Attention: Cross-Layer Value Mixing for Language Models
• Title（参考訳）: Depth-Attention: 言語モデルのためのクロス層値混合
• Authors: Boyi Zeng, Yiqin Hao, Zitong Wang, Shixiang Song, He Li, Feichen Song, Yifan Liu, Ziwei He, Xinbing Wang, Zhouhan Lin,
• Abstract要約: 自己注意(Self-attention)はシーケンス全体で自由に情報を選択するが、奥行きによっては、トランスフォーマーは各レイヤの出力を残留ストリームに追加するだけである。 最近のクロス層法はこの流れを改善するが、外部の隠れた状態で作動する。 本稿では、注目モジュール自体内でこの選択を行うDepth-Attentionを紹介する。
• 参考スコア（独自算出の注目度）: 39.80157231538078
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-attention selects information freely across the sequence, but across depth, Transformers merely add each layer's output to the residual stream, so later layers cannot selectively reuse earlier-layer representations. Recent cross-layer methods improve this flow but operate on hidden states outside attention, adding state beyond the key-value cache at inference--a cost that becomes increasingly salient as modern LLMs compress the cache with grouped-query and multi-head latent attention. We introduce Depth-Attention, which performs this selection inside the attention module itself: before a layer attends over the sequence, its query attends over the keys of earlier layers at the same token position and mixes their values into the value that self-attention then reads. Because Depth-Attention reuses the standard attention queries, keys, and value-cache slots, storing depth-mixed values in place of the original values, it adds no parameters and introduces no persistent inference state beyond the standard key-value cache--the same cache size as a vanilla decoder and less than hidden-state-based cross-layer methods. On Qwen3-style decoders at 1.5B and 3B parameters, Depth-Attention attains the lowest perplexity and the highest average downstream accuracy, improving over the vanilla Transformer by up to 2.3 accuracy points and surpassing strong cross-layer baselines in perplexity and average accuracy, while adding under 0.01% extra arithmetic FLOPs and no additional persistent inference state. The gains hold from 360M to 3B parameters and extend to looped Transformers.
• Abstract（参考訳）: 自己アテンションはシーケンス全体で自由に情報を選択するが、奥行きによってトランスフォーマーは各レイヤの出力を残留ストリームに追加するだけで、後続のレイヤは前層表現を選択的に再利用できない。 近年のクロスレイヤー法はこの流れを改善するが、隠れた状態に注意を払い、キー値キャッシュ以外の状態を推論で追加する。 レイヤがシーケンスに出席する前に、そのクエリは、同じトークン位置にある前のレイヤのキーに同伴し、その値を自己保持が読み取る値に混ぜる。 Depth-Attentionは、標準のアテンションクエリ、キー、バリューキャッシュスロットを再利用し、元の値の代わりに深さ混合値を保存するため、パラメータを追加せず、標準のキー-値キャッシュを超えて永続的な推論状態を導入する。 1.5Bおよび3BパラメータのQwen3スタイルのデコーダでは、Depth-Attentionは最小のパープレクティリティと平均平均下流精度を獲得し、バニラトランスフォーマーを最大2.3の精度で上回り、高いクロス層ベースラインをパープレクティリティと平均精度で上回り、0.01%の算術FLOPを加算し、追加の持続的推論状態がない。 ゲインは360Mから3Bパラメータに保たれ、ループトランスフォーマーに拡張される。

関連論文リスト

• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Transformers with Selective Access to Early Representations [6.554898376530473]
  Selective Access Transformer(SATFormer)を導入し、コンテキスト依存ゲートによるアクセスを制御しながら、第1層の値経路を保存する。 SATFormerは静的値とTransformerベースラインに対するバリデーション損失とゼロショット精度を一貫して改善する。 ゲート分析は、スパース、ディープ依存、ヘッド固有、カテゴリー依存のアクセスパターンを示唆する。
  論文  参考訳（メタデータ） (2026-05-05T16:38:29Z)
• Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold [7.162701793686856]
  StiefAttentionは、出力再構成誤差を直接最小化し、インフォノーマルプロジェクションベースを学習するKV-cache圧縮手法である。 これは、C4の難易度が11.9ドル、0ショットMMLUの精度が5.4%でEigenAttentionを上回り、元のデコーダ層出力に対する相対誤差が低く、コサイン類似度も高い。
  論文  参考訳（メタデータ） (2026-01-29T13:19:24Z)
• Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference [9.469995152350899]
  我々は、既知の観測値を活用する訓練不要なスパースアテンション手法であるカスケードを提案する。 Kascadeは、小さなアンカー層で正確なTop-kインデックスを計算し、それらのインデックスを中間再利用層で再利用する。 Kascadeは、H100 GPU上のFlashAttention-3ベースラインに対して、デコードアテンションの最大4.1倍、プリフィルアテンションの2.2倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-12-18T10:37:14Z)
• FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers [91.59069344768858]
  周波数対応位置深度埋め込み (FreqPDE) を導入し, 空間情報と2次元画像特徴を付加して3次元検出変換器デコーダを提案する。 FreqPDEは2D画像特徴と3D位置埋め込みを組み合わせることで、クエリデコーディングのための3D深度認識機能を生成する。
  論文  参考訳（メタデータ） (2025-10-17T07:36:54Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization for 3D Instance Segmentation [33.58208166717537]
  3Dインスタンスセグメンテーションは、シーン内のオブジェクトインスタンスのセットを予測し、対応するセマンティックラベルを持つバイナリフォアグラウンドマスクとして表現することを目的としている。 トランスをベースとした手法は、エレガントなパイプライン、幾何学的特性のマニュアル選択の削減、性能の向上などにより、注目を集めている。
  論文  参考訳（メタデータ） (2025-02-06T15:19:48Z)
• DiffCom: Decoupled Sparse Priors Guided Diffusion Compression for Point Clouds [54.96190721255167]
  ロスシー圧縮は、ポイントクラウドをストレージの潜在ポイントに変換するためのオートエンコーダに依存している。 本稿では,特に低レベルにおいて高い復元品質を実現するための拡散型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-21T05:41:35Z)
• Unifying Global-Local Representations in Salient Object Detection with Transformer [55.23033277636774]
  我々は、視覚変換器という新しいアテンションベースのエンコーダを有能な物体検出に導入する。 非常に浅い層でのグローバルビューでは、トランスフォーマーエンコーダはより局所的な表現を保持する。 提案手法は,5つのベンチマークにおいて,他のFCN法およびトランスフォーマー法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-05T17:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。