論文の概要: DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
- arxiv url: http://arxiv.org/abs/2611.03142v1
- Date: Mon, 02 Nov 2026 13:52:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.606736
- Title: DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
- Title（参考訳）: DepthGraft:階層型クロスレイヤKV再構成による構造規則化
- Abstract要約: 拡張深度はより強力な大規模言語モデルへの鍵となるルートであるが、Pre-LNアーキテクチャは深度情報希釈に悩まされることが多い。
本稿では,階層的なKV共有アーキテクチャであるDepthGraftを提案する。
- 参考スコア（独自算出の注目度）: 47.55598977259964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling depth is a key route to stronger large language models, but Pre-LN architectures often suffer from depth-wise information dilution, limiting the effective use of deep layers. While cross-layer connectivity has proven effective at mitigating this problem, existing designs usually introduce additional computation or memory access. We revisit cross-layer KV sharing as an efficient form of such connectivity. Beyond cache compression, each KV reuse edge creates a direct gradient path from deep layers to source KV projections, turning KV sharing into an implicit structural regularizer for KV representation geometry. We provide a systematic analysis of this mechanism, showing that proper sharing topologies sharpen key retrieval directions while enriching the value content subspace, whereas existing adjacent or global-anchor designs do not fully exploit this effect. Motivated by this, we propose DepthGraft, a hierarchical KV-sharing architecture that reconstructs deep-layer KV from stride-aligned shallow-middle source pairs. DepthGraft distributes non-local gradient flow across source layers, while preserving prefill early completion and reducing KV cache by roughly one third. Experiments on dense and MoE models from 0.5B to 16B parameters show consistent downstream improvements under both GQA and MLA. Notably, on the 16B MoE model, DepthGraft achieves a 7.0% absolute improvement on MMLU-Pro, along with gains of 6.6% on CMMLU and 6.4% on C3. These results validate the potential of DepthGraft as a scalable design for large-scale pretraining. The project page is available at https://github.com/jianke0604/DepthGraft.
- Abstract（参考訳）: スケーリングディープは、より強力な大規模言語モデルへの重要なルートであるが、Pre-LNアーキテクチャは、ディープ・レイヤの有効利用を制限するために、ディープ・ワイドな情報希釈に悩まされることが多い。
層間接続はこの問題を軽減するのに有効であることが証明されているが、既存の設計では計算やメモリアクセスを追加するのが一般的である。
我々は、このような接続の効率的な形態として、層間KV共有を再考する。
キャッシュ圧縮の他に、各KV再利用エッジは、深い層からソースKVプロジェクションへの直進経路を生成し、KV共有をKV表現幾何学の暗黙的構造正規化器にする。
このメカニズムを体系的に分析し、適切な共有トポロジが価値コンテンツ部分空間を豊かにしながらキー検索方向を鋭くするのに対し、既存の隣接またはグローバルアンカーの設計では、この効果を十分に活用していないことを示す。
提案するDepthGraftは階層的なKV共有アーキテクチャで、ストライド整列した浅層中層ソースペアから深層KVを再構成する。
DepthGraftはソース層に非局所的な勾配流を分散し、プリフィルの早期完了とKVキャッシュを約3分の1削減する。
0.5Bから16Bパラメータの密度モデルとMoEモデルによる実験は、GQAとMLAの両方で一貫した下流改善を示す。
特に16B MoEモデルでは、DepthGraftはMMLU-Proを7.0%改善し、CMMLUは6.6%、C3は6.4%向上した。
これらの結果は大規模事前学習のためのスケーラブルな設計としてのDepthGraftの可能性を検証する。
プロジェクトページはhttps://github.com/jianke0604/DepthGraft.comで公開されている。
関連論文リスト
- One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。
reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
論文 参考訳（メタデータ） (2026-10-08T17:58:36Z) - From Edges to Depth: Probing the Spatial Hierarchy in Vision Transformers [0.0]
視覚変換器は画像分類のみを訓練し、空間的理解を必要とするタスクに日常的に移行した。
このような構造がどこに、どのくらい強固にエンコードされているか尋ねる。
その結果、分類訓練されたViTは、活発に維持された空間階層を発達させる。
論文 参考訳（メタデータ） (2026-04-25T21:48:24Z) - The $qs$ Inequality: Quantifying the Double Penalty of Mixture-of-Experts at Inference [0.8986240899504297]
Mixture-of-Experts (MoE)モデルは、低トレーニングのFLOPにおいて高い品質を提供するが、この効率はしばしば推論時に消える。
復号化時に構造的にMoEアーキテクチャに不利な二重ペナルティを識別する。
我々は、MoEが品質整合密度モデルに対して構造的に不利なときを識別する予測的基準である$qs$不等式(inequality)を導入する。
論文 参考訳（メタデータ） (2026-03-09T21:48:04Z) - Linear Predictability of Attention Heads in Large Language Models [0.5833117322405447]
事前学習したトランスフォーマーは,頭部間線形構造が広範に存在することを示す。
我々は、参照ヘッドKV状態のみをキャッシュし、残りのヘッドをオンザフライで再構築することでこれを活用します。
論文 参考訳（メタデータ） (2026-03-04T09:04:03Z) - Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold [7.162701793686856]
StiefAttentionは、出力再構成誤差を直接最小化し、インフォノーマルプロジェクションベースを学習するKV-cache圧縮手法である。
これは、C4の難易度が11.9ドル、0ショットMMLUの精度が5.4%でEigenAttentionを上回り、元のデコーダ層出力に対する相対誤差が低く、コサイン類似度も高い。
論文 参考訳（メタデータ） (2026-01-29T13:19:24Z) - CAGE: Continuity-Aware edGE Network Unlocks Robust Floorplan Reconstruction [24.09888364478496]
我々は,点-雲密度マップから直接ベクトルフロアプランを再構築する堅牢なフレームワークであるCAGEを提案する。
CAGEは最先端のパフォーマンスを達成し、F1スコアは99.1%(部屋)、91.7%(コーナー)、89.3%(角度)である。
論文 参考訳（メタデータ） (2025-09-18T22:10:37Z) - CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。
提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-08-22T06:55:45Z) - KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。
量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。
我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
論文 参考訳（メタデータ） (2024-01-31T18:58:14Z) - Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。
本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
論文 参考訳（メタデータ） (2020-05-18T17:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。