論文の概要: MLIPS: Multi-Layer Indexer Pool Sharing

• arxiv url: http://arxiv.org/abs/2610.27438v1
• Date: Tue, 20 Oct 2026 00:37:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.560548
• Title: MLIPS: Multi-Layer Indexer Pool Sharing
• Title（参考訳）: MLIPS:マルチ層インデクサプール共有
• Abstract要約: textbfMLIPS (Multi-Layer Indexer Pool Sharing) - トレーニング不要のメソッドで、各コンシューマのスコアと選択を維持しながら、候補検索を共有する。 1プロデューサあたりの3つのコンシューマレイヤは、1.14$--1.40times$スピードアップと14.8$--27.4%低いGPUエネルギを提供する。 より広範な共有は、タスク依存の品質損失を露呈する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention limits the keys used by each query, but finding those keys can still require a full-prefix scan at every layer. We introduce \textbf{MLIPS (Multi-Layer Indexer Pool Sharing)}, a training-free method that shares candidate search while retaining each consumer's own scoring and selection. A producer publishes a top-$M$ pool larger than the attention budget $K$; subsequent layers select their own top-$K$ from that pool. Measurements across three sparse-attention model families show substantially higher coverage from broad pools than overlap between final selections. We implement layerwise sharing, persistent decode reuse, and a coarse producer in vLLM for DeepSeek-V4-Flash. Across four long-context suites, three consumer layers per producer give $1.14$--$1.40\times$ speedups and $14.8$--$27.4\%$ lower GPU energy, with observed accuracy changes of $-1.49$ to $+0.29$ percentage points in single runs. More extensive sharing exposes task-dependent quality losses. Sampled prefill traces also reveal recurring selected KV positions across query groups and layers. We characterize this shared working-set structure and use it to motivate Top-$G$, an exploratory bounded pool construction for prefill. Its deployment, task accuracy, and serving benefits remain open.
• Abstract（参考訳）: スパースアテンションは、クエリ毎に使用されるキーを制限するが、これらのキーを見つけるには、すべてのレイヤで完全なプリフィックススキャンが必要になる。 本稿では,各コンシューマのスコアと選択を維持しながら,候補検索を共有するトレーニングフリーな方法である‘textbf{MLIPS(Multi-Layer Indexer Pool Sharing)}を紹介する。 プロデューサーは、アテンション予算のK$よりも大きいトップ$M$プールを発行し、その後のレイヤはそのプールからトップ$K$を選択する。 3つのスパース・アテンション・モデル・ファミリーにおける測定は、最終選択間の重なり合いよりも、広いプールからかなり高いカバレッジを示す。 我々は、DeepSeek-V4-Flash用のレイヤワイド共有、永続的なデコード再利用、およびvLLMの粗いプロデューサを実装している。 4つの長いコンテキストスイートの中で、1プロデューサあたりの3つのコンシューマー層は、1.14$--1.40\times$スピードアップと14.8$--$27.4\%$低いGPUエネルギーを与え、1回の実行で1.49$から+0.29$の精度変化を観測する。 より広範な共有は、タスク依存の品質損失を露呈する。 サンプリングされたプリフィルトレースでは、クエリグループとレイヤ間で選択されたKV位置が繰り返し表示される。 我々は、この共有ワーキングセット構造を特徴付け、それを事前充填のための探索的有界プール構築であるTop-G$の動機付けに利用する。 デプロイメント、タスクの正確性、サービス提供のメリットは依然としてオープンです。

関連論文リスト

• Dense Mixture-of-Experts as a Reparameterized Wide FFN: A Granularity Sweep at Fixed Compute [1.4610038284393168]
  MoEモデルは、学習したルーティングと、大規模なエキスパートプールの選択を組み合わせる。 このアーキテクチャは、トークン依存の単純なグループスケーリングを持つ密集SwiGLUであることを示す。
  論文  参考訳（メタデータ） (2026-10-01T23:31:06Z)
• LLM-Generated Feature Pools for Time Series Anomaly Detection [6.480286633056269]
  厳密な選択プロトコルの下で, 単変量時系列異常検出において, 単純な統計パイプラインがどこまで到達できるかを検討する。 この方法は、スライディングウィンドウ上の統計の小さなプールを抽出し、トランスダクティブ・ロバスト(MAD)モデルで各ウィンドウをスコアし、ホールドアウトチューニングスプリット上で、ドメインごとの機能サブセットを選択する。 TSB-AD-Uでは、1シリーズあたり0.529ドル、VUS-PRで最高の神経(0.45ドル)と統計(0.44ドル)のエントリーを上回ります。
  論文  参考訳（メタデータ） (2026-09-18T14:14:21Z)
• FLOWREADER: Min-Cost Flow Optimization for Multi-Modal Long Document Q&A [6.071121358322323]
  本稿では,マルチモーダルノードグラフ上で,エビデンスアセンブリをミニコストフロー問題として再設計するFLOWREADERを紹介する。 最適流れは候補エビデンスパスに分解され、コンパクトな非冗長部分集合はエントロピー規則化された複製子ダイナミクスによって選択される。 FLOWREADERはPaperTabとSlideVQAが支配する2つのサブセットで最良である。
  論文  参考訳（メタデータ） (2026-06-05T13:05:00Z)
• IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse [68.18308357205586]
  Longcontext Agenticは、大規模言語モデルの定義ユースケースとして登場した。 Sparseは、この課題を効果的に解決し、DeepSeek Sparse Attention(DSA)は、代表的なプロダクショングレードソリューションである。 我々は、レイヤを独自のインデクサを実行するフルレイヤの小さなセットと、最も近いフルレイヤのトップkインデックスを単純に再利用する共有レイヤの大多数に分割することで、層間の冗長性を利用するIndexCacheを紹介します。
  論文  参考訳（メタデータ） (2026-03-12T17:27:21Z)
• Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization [47.38380084735716]
  大規模な画像テキストペアで事前訓練された視覚教師付きモデル(VLM)は、顕著なゼロ/フェーショット性能を示した。 知識蒸留(KD)は、VLM能力を伝達するための自然な枠組みを提供するが、監督と蒸留の損失の間の勾配の衝突に悩まされる。 本稿では,異なる信号に対して2つの予測ヘッドを導入するDual-Head Optimization (DHO)を提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:39:51Z)
• Group Pose: A Simple Baseline for End-to-End Multi-person Pose Estimation [102.02917299051757]
  グループ・ポース(Group Pose)と呼ばれる単純だが効果的なトランスフォーマー・アプローチを提案する。 すべての$Ntimes(K+1)$クエリに対して単一の自己アテンションを、その後の2つのグループ自己アテンションに置き換える。 MS COCO と CrowdPose の実験結果から,従来の手法よりもヒトボックスの監督を伴わないアプローチの方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-14T17:58:04Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)
• Regularized Densely-connected Pyramid Network for Salient Instance Segmentation [73.17802158095813]
  我々は、エンドツーエンドの有能なインスタンスセグメンテーション(SIS)のための新しいパイプラインを提案する。 ディープネットワークにおけるリッチな特徴階層をよりよく活用するために、正規化された高密度接続を提案する。 マスク予測を改善するために,新しいマルチレベルRoIAlignベースのデコーダを導入し,多レベル特徴を適応的に集約する。
  論文  参考訳（メタデータ） (2020-08-28T00:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。