論文の概要: NLL-Guided Full-Attention Layer Selection for Training-Free Sliding-Window Adaptation

• arxiv url: http://arxiv.org/abs/2606.27791v1
• Date: Fri, 26 Jun 2026 07:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.406317
• Title: NLL-Guided Full-Attention Layer Selection for Training-Free Sliding-Window Adaptation
• Title（参考訳）: NLL-Guided Full-Attention Layer Selection for Training-free Sliding-Window Adaptation
• Abstract要約: NLL誘導層選択は、応答トークン上の負の対数分解を計算することで各層の重要性を測定する。 Qwen3-4BのLongMemEvalでは、1/4のフルアテンション層のみを用いて64.6%の精度を実現している。
• 参考スコア（独自算出の注目度）: 19.413175066072302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid attention models that mix full and sliding-window attention across layers offer a promising approach to efficient long-context inference, but the critical question of \emph{which layers} should retain full attention remains unsolved. Existing methods use either fixed periodic patterns or attention-based heuristics that may not capture what matters for downstream accuracy. We propose NLL-guided layer selection, a training-free method that directly measures each layer's importance by computing the negative log-likelihood degradation on answer tokens when that layer uses sliding-window instead of full attention. On LongMemEval with Qwen3-4B, our method achieves 64.6\% accuracy using only 1/4 full-attention layers, matching the 1/2-FA periodic baseline (65.0\%) while halving the computational budget. NLL-guided selection outperforms the SWAA-reported periodic 1/4-FA baseline by 10.4 percentage points and a matched LightTransfer-style baseline by 26.4 percentage points. De-confounding analysis shows the signal is consistent with long-range attention needs rather than generic layer sensitivity. The method requires only $\sim$15 minutes of one-time calibration, advancing the efficiency-accuracy Pareto frontier for long-context LLM deployment.
• Abstract（参考訳）: 層をまたいだフル・スライディングウインドウの注意を混合するハイブリッドアテンションモデルは、効率的なロングコンテキスト推論に有望なアプローチを提供するが、 'emph{which layer' の批判的問題は未解決のままである。 既存の手法では、固定された周期パターンまたは注意に基づくヒューリスティックを使用しており、下流の正確性にとって重要なものを捉えない可能性がある。 NLL誘導層選択(NLL誘導層選択)は,その層が全注意ではなくスライドウインドウを使用する場合の応答トークンの負の対数分解を計算し,各層の重要性を直接測定する学習自由層選択法である。 Qwen3-4BのLongMemEvalでは、1/4のフルアテンション層のみを用いて64.6\%の精度を達成し、計算予算を半減しながら1/2-FA周期ベースライン(65.0\%)と一致する。 NLL誘導選択は、SWAAが報告した周期的な1/4-FAベースラインを10.4ポイント、マッチしたLightTransferスタイルベースラインを26.4ポイント上回る。 De-confounding解析により、信号は一般的な層感度ではなく、長距離の注意が必要であることが分かる。 この手法では、1回のキャリブレーションで$\sim$15分しか必要とせず、長時間のLLM展開のために効率・精度のParetoフロンティアを前進させる。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• A Method for Layer Bit-Width Allocation in LLM Quantization via Performance Maximization Under a Quality-Degradation Constraint [0.0]
  本稿ではGemma-3-1Bの層配置法を提案する。 時間と資源を消費する均一層量子化法とは異なる。 FFN と lm_head の場合、量子化/復号化の時間コストは整数演算によって補償される。
  論文  参考訳（メタデータ） (2026-08-28T07:13:42Z)
• STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs [23.745366354566315]
  LLM(Linearizing Pretrained Large Language Model)は主に層内ハイブリッドアテンション機構に依存している。 LLMを効率的に線形化するための層内ハイブリッド線形化フレームワークSTILLを提案する。
  論文  参考訳（メタデータ） (2026-02-02T14:49:18Z)
• HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference [11.718567830546538]
  大規模言語モデルにおける長文推論は、注意の2次計算の複雑さによってボトルネックとなる。 bf HyLRAは階層ワイド・スパシティ・プロファイリングによって駆動される新しいフレームワークである。 その結果,HyLRAは推論のスループットを6%から46%向上し,同等の性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-31T15:36:17Z)
• Distilling to Hybrid Attention Models via KL-Guided Layer Selection [66.06591032073744]
  本稿では,テキストデータに対する少量のトレーニングから得られた重要度スコアを用いた,簡易かつ効率的な層選択法について述べる。 この手法は, 固定比に基づいて線形注意を均一に解き出す手法を含む, 従来の層選択手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2025-12-23T18:12:22Z)
• Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference [9.469995152350899]
  我々は、既知の観測値を活用する訓練不要なスパースアテンション手法であるカスケードを提案する。 Kascadeは、小さなアンカー層で正確なTop-kインデックスを計算し、それらのインデックスを中間再利用層で再利用する。 Kascadeは、H100 GPU上のFlashAttention-3ベースラインに対して、デコードアテンションの最大4.1倍、プリフィルアテンションの2.2倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-12-18T10:37:14Z)
• Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples [57.67658635348395]
  LASERの網羅的で、マトリクスごとの探索は、迅速な展開には実用的ではない。 これらの結果を組み合わせることで、下流タスクに対する高速で堅牢な適応アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2025-10-23T17:58:01Z)
• DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
  モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。 この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
  論文  参考訳（メタデータ） (2025-10-10T21:37:49Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning [49.91297276176978]
  我々は,ポイントクラウドのための新しい固有textbfPointGST (textbfGraph textbfSpectral textbfTuning) 法を提案する。 ポイントGSTは事前訓練されたモデルを凍結し、スペクトル領域の微調整パラメータのための軽量で訓練可能なポイントクラウドスペクトルアダプタ(PCSA)を導入する。 さまざまなタスクにわたる挑戦的なポイントクラウドデータセットの実験では、ポイントGSTが完全に微調整されたデータセットを上回るだけでなく、トレーニング可能なパラメータも大幅に削減されていることが示されている。
  論文  参考訳（メタデータ） (2024-10-10T17:00:04Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。