論文の概要: WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

• arxiv url: http://arxiv.org/abs/2608.18486v1
• Date: Wed, 19 Aug 2026 03:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.266784
• Title: WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing
• Title（参考訳）: WhiteMatter:KVミキシングによる全層クロスレイア接続
• Abstract要約: トランスフォーマーでは、各層は独自の深さで生成されたKVを通してのみ過去のトークンに出席する。 すべての注意層を過去のトークンのすべてのレイヤから表現に接続するWhiteMatterを提案する。
• 参考スコア（独自算出の注目度）: 25.894439782435825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a Transformer, each layer attends to past tokens only through KV produced at its own depth, despite the presence of deeper representations during autoregressive decoding. Feedback architectures allow shallow consumer layers to attend to KV produced by deeper past-token representations, but give all consumer layers the same fixed connection patterns to source layers. We propose WhiteMatter, which connects every attention layer to the representations from all layers of each past token, with connection weights that can vary across consumer layers and adapt to the source token. For each token, a router implements these connections by mixing its $L$ layer states into $k$ KV channels that are cached for subsequent tokens; each consumer layer attends to one of the channels. The number of channels $k$ controls the KV-cache size. Setting $k<L$ reduces the cache's memory footprint. In our pretraining experiments, WhiteMatter outperforms a vanilla Transformer with 50% more layers and retains most of this gain with a 50% KV-cache compression.
• Abstract（参考訳）: トランスフォーマーでは、各層は自己回帰復号中により深い表現が存在するにもかかわらず、独自の深さで生成されたKVを通してのみ過去のトークンに出席する。 フィードバックアーキテクチャにより、より深い過去の表現によって生成されたKVに浅い消費者層が対応できるが、すべての消費者層にソース層に同じ固定接続パターンを与える。 我々は,すべての注目層を過去のトークンのすべてのレイヤから表現に接続するWhiteMatterを提案する。 各トークンに対して、ルータは、その$L$レイヤステートを、その後のトークンのためにキャッシュされる$k$KVチャネルに混ぜることで、これらの接続を実装します。 チャネル数$k$はKVキャッシュサイズを制御する。 k<L$を設定すると、キャッシュのメモリフットプリントが減少する。 事前トレーニング実験では、WhiteMatterは50%以上の層を持つバニラトランスフォーマーより優れており、50% KV-cache圧縮でその多くを維持できる。

関連論文リスト

• WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs [60.6692467625441]
  Waxing-and-Waning KVキャッシュはKVヘッドをオフラインキャリブレーションによってアンカー、タイダル、固定ロールに分類する。 3Bバックボーンが2つあるLibri-Speechでは、WnWはほぼフルキャッシュの精度を維持しながら、プリフィルオンリーのベースラインが終了しないGPU上のオーディオトークンの20%しか保持しない。
  論文  参考訳（メタデータ） (2026-08-24T01:48:30Z)
• Channel-wise Vector Quantization [59.96775089792198]
  本稿では,パッチワイズトークンをチャネルワイズトークンに置き換える新しい画像トークン化パラダイムとして,チャネルワイズベクトル量子化(CVQ)を提案する。 CVQは、イメージをパッチのグリッドとしてではなく、個別の視覚的詳細レベルとして表現する。 CVQは16K以上のコードブックサイズで100%のコードブック利用を実現し,従来のベクトル量子化よりも再現性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-05-25T17:52:08Z)
• VeriCache: Turning Lossy KV Cache into Lossless LLM Inference [24.571166055469508]
  私たちは、フルKV-cacheデコードと同じ出力を保証する最初の推論フレームワークであるVeriCacheを紹介します。 VeriCacheはフルKVキャッシュよりも最大4倍高いスループットを実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-17T19:18:39Z)
• EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation [80.13014959623452]
  EVATokは、$textbfE$fficient $textbfV$ideo $textbfA$daptive $textbfTok$enizersを生成するフレームワークである。 EVATok は UCF-101 上でより優れた再構成と最先端のクラス・ビデオ生成を実現する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:59Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• Improving Model Representation and Reducing KV Cache via Skip Connections with First Value Heads [47.05385031325841]
  SkipV1Formerは、第1層のバリューヘッドからのスキップ接続を使用して表現を強化し、KVキャッシュを削減するトランスフォーマーである。 我々は、SkipV1FormerがKVキャッシュの約25%の一貫性のある削減を実現していることを示す。 YOCOと組み合わせると、KVキャッシュサイズが50%近く削減され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-10-19T12:17:42Z)
• Attention Is All You Need for KV Cache in Diffusion LLMs [36.94369617373333]
  Elastic-Cacheは、拡散大言語モデルのための適応型層対応キャッシュ更新を実行する。 提案手法は,既存の信頼度に基づく手法よりも高いスループット(GSM8Kで6.8時間)を実現する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:48Z)
• TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization [21.229296254354878]
  生成型大規模言語モデル(LLM)におけるキーバリューキャッシュは、かなりのメモリオーバーヘッドをもたらす。 既存の作業は、KVキャッシュをオフロードまたは圧縮することで、この負担を軽減する。 本稿では,量子化とオフロードをシームレスに統合するハイブリッド圧縮手法であるTailorKVを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:00:04Z)
• xKV: Cross-Layer SVD for KV-Cache Compression [8.250015628919098]
  長いコンテキストウィンドウを持つ大規模言語モデル(LLM)は強力なアプリケーションを実現するが、メモリ消費のコストがかかる。 近年の研究では、KV-cacheを複数の層から共有表現にマージする試みが試みられている。 支配的な特異ベクトルは、KV-Cacheの複数の層に驚くほどよく整合していることが分かる。 xKVは複数のレイヤのKVキャッシュを共有低ランクサブスペースに統合し、KVキャッシュのサイズを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-24T17:06:37Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget [29.208289711639853]
  LLM(Large Language Model)のキーバリューキャッシュを最適化することは、推論コストの削減に不可欠であると考えられている。 既存のKV-cache圧縮アルゴリズムのほとんどは全ての層を等しく扱い、各層に同じKV予算を割り当てている。 注意層の重要性を同定することにより、KV-cacheを2次元から共同で最適化できることが判明した。
  論文  参考訳（メタデータ） (2024-04-07T03:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。