Fugu-MT 論文翻訳(概要): Beyond Static RAG: An Adaptive, Tri-Metric Routing Framework for Efficient Long-Context Inference on Commodity GPUs

論文の概要: Beyond Static RAG: An Adaptive, Tri-Metric Routing Framework for Efficient Long-Context Inference on Commodity GPUs

arxiv url: http://arxiv.org/abs/2609.17564v1
Date: Thu, 23 Jul 2026 18:09:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.568451
Title: Beyond Static RAG: An Adaptive, Tri-Metric Routing Framework for Efficient Long-Context Inference on Commodity GPUs
Title（参考訳）: Beyond Static RAG:コモディティGPU上での効率的なロングコンテキスト推論のための適応型トリメトリックルーティングフレームワーク
Abstract要約: Tri-Metric Routerは、Raw、Neural、Lexicalパイプラインの中から選択する決定論的でトレーニング不要なポリシーである。従来のセマンティックオンリー適応とは異なり,VRAMヘッドルームと遅延クロスオーバーポイントに基づくハードウェア物理信号である。アウト・オブ・ディストリビューションのホールドアウトでは、0%のOOM障害、88.5$pm$4.4%のオラクルアライメント、49.3%のコンバインドF1が達成され、VRAMやトレーニングコストを必要とせず、常にオンの語彙圧縮を5.2ポイント改善した。
参考スコア（独自算出の注目度）: 0.5541644538483947
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deploying retrieval-augmented generation (RAG) on commodity GPUs such as the NVIDIA T4 (16 GB VRAM) exposes a practical failure mode we call the Compression Paradox: neural prompt compression can add key-value (KV) cache contention and preprocessing latency that outweigh generation-time savings, while skipping compression can cause out-of-memory (OOM) failures on long contexts. We identify two distinct failure mechanisms when a vLLM-served LLM and a PyTorch-based compressor are co-deployed under tight memory budgets, and introduce the Tri-Metric Router, a deterministic, training-free policy that selects among Raw, Neural (LLMLingua-2), and Lexical (BM25) pipelines. The router uses three CPU-side signals: spatial complexity ($L$), syntactic density ($ρ_{key}$), and type-token ratio (TTR). Unlike prior semantic-only adaptation, our dispatch signal is hardware-physical, based on VRAM headroom and a latency crossover point. Thresholds are calibrated from profiling on LongBench qasper, yielding an operating crossover near 4,332 words on T4; our contribution is this calibration methodology rather than a hardware-specific constant. On out-of-distribution holdouts, the method achieves 0% OOM failures, 88.5 $\pm$ 4.4% oracle alignment, and 49.3% Combined F1, improving over always-on lexical compression by 5.2 points without additional VRAM or training cost.
Abstract（参考訳）: NVIDIA T4 (16 GB VRAM)のようなコモディティGPUにRAG(Recovery-augmented Generation)をデプロイすると、Compression Paradoxと呼ばれる実用的な障害モードが公開されます。我々は,vLLM処理されたLLMとPyTorchベースの圧縮機を緊密なメモリ予算の下で同時配置した場合の2つの障害機構を同定し,Raw,Neural(LLMLingua-2),Lexical(BM25)パイプラインの中から選択する決定論的かつトレーニング不要なポリシーであるTri-Metric Routerを導入する。ルータは3つのCPU側信号を使用する:空間的複雑性(L$)、構文密度(ρ_{key}$)、型トーケン比(TTR)。従来のセマンティックオンリー適応とは異なり,VRAMヘッドルームと遅延クロスオーバーポイントに基づくハードウェア物理信号である。閾値はLongBench qasperのプロファイリングからキャリブレーションされ、T4の演算クロスオーバーは4,332ワード近くになる。アウト・オブ・ディストリビューションのホールドアウトでは、0%のOOM障害、88.5ドルの\pm$4.4%のオラクルアライメント、49.3%のコンバインドF1が達成され、追加のVRAMやトレーニングコストを使わずに、常にオンの語彙圧縮を5.2ポイント改善した。

関連論文リスト

Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference [2.783126026822281]
大規模言語モデル(LLM)推論は、自己アテンションの2次スケーリングとKVキャッシュの線形スケーリングによって制約される。コンテクストをコンパクトなコンテクストメモリに圧縮するContext-to-Answer-Aligned Memory Compressionフレームワークを提案する。実験の結果、MCCはベースラインを一貫して上回り、SQuADでは7.3 EMと4.0 F1ポイントのゲインを達成している。
論文参考訳（メタデータ） (2026-09-22T01:10:49Z)
Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文参考訳（メタデータ） (2026-08-10T07:49:10Z)
A Controlled Study of Memory Hierarchy Transitions in Quantum Circuit Simulation on Apple M4 Pro Unified Memory Architecture [0.0]
状態ベクトル量子回路シミュレーションはメモリ帯域境界である。 Apple M4 Pro Unified Memory Architectureを使ってこの問題に対処する。ピークストリーミング帯域幅は、連続しないメモリアクセスパターンのシミュレーションスピードアップを予測できないことを示す。
論文参考訳（メタデータ） (2026-05-09T08:22:55Z)
AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers [0.14504054468850666]
100KB以下のメモリを持つマイクロコントローラ(MCU)上の連続物体検出には、効率的な特徴圧縮が必要である。 3つの重要なイノベーションを特徴とするメタラーニングフレームワークであるAdaptive Hierarchical Compression (AHC)を紹介する。 AHCは100KBのリプレイ予算内で実用的な連続的な検出を可能にし、平均プール圧縮された特徴リプレイによる競合精度を実現する。
論文参考訳（メタデータ） (2026-02-24T07:06:51Z)
Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
論文参考訳（メタデータ） (2025-12-24T00:41:13Z)
70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
論文参考訳（メタデータ） (2025-04-15T22:38:38Z)
LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文参考訳（メタデータ） (2024-10-04T03:10:53Z)
MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
論文参考訳（メタデータ） (2024-08-21T16:10:41Z)
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
論文参考訳（メタデータ） (2023-06-05T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。