論文の概要: BOSCH: Black-Box Binary Optimization for Short-Context Attention-Head Selection in LLMs

• arxiv url: http://arxiv.org/abs/2604.05942v1
• Date: Tue, 07 Apr 2026 14:38:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.884847
• Title: BOSCH: Black-Box Binary Optimization for Short-Context Attention-Head Selection in LLMs
• Title（参考訳）: BOSCH:LLMにおける短コンテキストアテンション-ヘッド選択のためのブラックボックスバイナリ最適化
• Authors: Abbas Ghaddar, Ivan Kobyzev, Boxing Chen, Yufei Cui,
• Abstract要約: 大規模言語モデル(LLM)の学習後のハイブリッド化は、KVキャッシュの使用を減らし、レイテンシを向上させるために、二次的な自己注意をスライドウインドウアテンション(SWA)に置き換えることが多い。 既存のハイブリダイゼーションスキームは通常、レイヤレベル(例えばインターリービング)またはヘッドレベルでローカルからグローバルまでの静的ランキングによって定義される。 BOSCH, Black-box Binary Optimization for Short-context Head Selection, a training-free method that formulas the problem as a Large Neighborhood Search and Decomposes it into three subproblems。
• 参考スコア（独自算出の注目度）: 28.15811258654351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training hybridization of large language models (LLMs) often replaces quadratic self-attention with sliding-window attention (SWA) to reduce KV cache usage and improve latency. Existing hybridization schemes are typically defined either at the layer level (e.g., interleaving) or at the head level via static rankings from local to global. Layer-level schemes ignore that local and global dependencies are routed through heads within the same layer, while static head-level rankings suffer from entanglement: a head's local/global behavior can change after hybridization. We propose BOSCH, Black-box Binary Optimization for Short-context Head Selection, a training-free method that formulates the problem as a Large Neighborhood Search and decomposes it into three subproblems: (i) layer-importance detection via small-budget black-box probes, (ii) adaptive per-layer SWA-ratio assignment based on these sensitivities, and (iii) grouped head-level optimization within ratio buckets. Extensive experiments on 4 LLMs ranging from 1.7B to 30B parameters, across 4 SWA ratios, show that BOSCH consistently outperforms layer-level heuristics and 6 strong static head-level methods, with larger gains at higher SWA ratios. Under continual pretraining, BOSCH recover original long-context performance faster and to a higher level. Analysis of the selected heads reveals substantial turnover for BOSCH across different SWA ratios, underscoring the importance of performing head-level selection for each target ratio rather than relying on fixed locality rankings.
• Abstract（参考訳）: 大規模言語モデル(LLM)の学習後のハイブリッド化は、KVキャッシュの使用を減らし、レイテンシを向上させるために、二次的な自己注意をスライドウインドウアテンション(SWA)に置き換えることが多い。 既存のハイブリダイゼーションスキームは通常、レイヤレベル(例えばインターリービング)か、ローカルからグローバルまでの静的なランキングによってヘッドレベルで定義される。 レイヤレベルのスキームは、ローカルおよびグローバルな依存関係が同じレイヤ内のヘッドを介してルーティングされるのを無視し、静的なヘッドレベルのランキングは絡み合っている。 BOSCH, Black-box Binary Optimization for Short-context Head Selection, a training-free method that formulas the problem as a Large Neighborhood Search and Decomposes it into three subproblem: (i)小予算のブラックボックスプローブによる層重み検出 (二)これらの感度に基づく層ごとのSWA比の適応的割り当て、及び (iii) 比バケット内における頭部レベルの最適化をグループ化した。 SWA比1.7Bから30Bの4つのLLMに対する大規模な実験により、BOSCHは層レベルのヒューリスティックと6つの強い静的なヘッドレベルの手法を一貫して上回り、より高いSWA比で大きな利得を示した。 継続事前トレーニングでは、BOSCHは元のロングコンテキスト性能を高速に、より高いレベルまで回復する。 選択したヘッドの分析により,SWA比の異なるBOSCHの大幅な転倒が明らかとなり,固定された局所性ランキングに頼るのではなく,各ターゲット比に対してヘッドレベルの選択を行うことの重要性が強調された。

関連論文リスト

• AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning [23.59600455731982]
  混合量子化微調整プロセスにおいて,各レイヤのビット幅とLoRAランク設定を同時に最適化する共同最適化フレームワークを提案する。 実験によると、AutoQRAは、均一な4ビットメソッドに匹敵するメモリフットプリントで、完全精度の微調整に近いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-25T07:18:08Z)
• Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs [45.84463775890072]
  長文推論は、大きな言語モデルの中心となる。 トップpのスパースアテンションは、アテンションの質量を直接保存し、より強力な精度保証を提供する。 既存のトップpメソッドは、トップpの精度、選択オーバーヘッド、わずかな注意コストを共同で最適化することができない。
  論文  参考訳（メタデータ） (2026-02-05T01:37:10Z)
• Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
  マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。 MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。 これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
  論文  参考訳（メタデータ） (2026-01-27T13:45:03Z)
• Scale-DiT: Ultra-High-Resolution Image Generation with Hierarchical Local Attention [50.391914489898774]
  Scale-DiTは、階層的な局所的注意を低解像度のグローバルガイダンスで導入する新しい拡散フレームワークである。 軽量なLoRA適応は、デノナイズ中のグローバルパスとローカルパスをブリッジし、構造と詳細の整合性を確保する。 実験によると、Scale-DiTは2ドル以上の高速な推論とメモリ使用量の削減を実現している。
  論文  参考訳（メタデータ） (2025-10-18T03:15:26Z)
• Hierarchical LoRA MoE for Efficient CTR Model Scaling [56.608809143548946]
  HiLoMoEは階層的なLoRA MoEフレームワークで、パラメータ効率のよい全体的なスケーリングを可能にする。 従来のスタックとは異なり、HiLoMoEルートは出力ではなく前のレイヤスコアに基づいており、すべてのレイヤが並列に実行される。
  論文  参考訳（メタデータ） (2025-10-12T03:54:11Z)
• Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation [1.0285749562751982]
  バックプロパゲーションは現代のディープラーニングを支えるものだが、グローバル同期への依存はスケーラビリティを制限し、高いメモリコストを発生させる。 対照的に、完全に局所的な学習ルールはより効率的であるが、コヒーレントなグローバルラーニングに必要な層間調整を維持するのに苦労することが多い。 本稿では,グローバルな目標を協調的なレイヤローカル更新に分解するレイヤワイズ学習アルゴリズムであるレイヤワイズ学習(SLL)を紹介する。
  論文  参考訳（メタデータ） (2025-05-08T12:32:29Z)
• Sequential Stochastic Combinatorial Optimization Using Hierarchal Reinforcement Learning [5.57541853212632]
  本稿では,上位層への適応的な予算配分と下位層へのノード選択を同時に決定する2層オプションベースフレームワークを提案する。 実験の結果,WS-option は従来の方法と比較して,有効性と一般化性が著しく向上していることがわかった。
  論文  参考訳（メタデータ） (2025-02-08T12:00:30Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。