論文の概要: Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

• arxiv url: http://arxiv.org/abs/2610.31433v1
• Date: Thu, 22 Oct 2026 15:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.426735
• Title: Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation
• Title（参考訳）: ドラフト氏:長期のマルチモーダル・ジェネレーションのKV再選はいくらか
• Abstract要約: Rate-Controlled Refresh (RCR)では、ドリフトがいつ、どこで再選択するかを判断できる。 RCRは6つのモデルタスク設定のうち5つで1.6-3.8のROUGE-Lポイントでステップ毎の検索手法であるInfiniGenより優れている。 DetailCapsでは、ドリフト・チョーゼンのタイミングが、より高いレートでも、同じリフレッシュレートと周期的なタイミングでランダムなタイミングを2.0-5.0ポイント上回る。
• 参考スコア（独自算出の注目度）: 3.6340387363934865
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift threshold fails systematically: drift magnitudes are not comparable across samples, so low-drift samples are almost never refreshed although they benefit the most. We propose Rate-Controlled Refresh (RCR), which lets drift decide when and where to re-select while a per-sample controller regulates how often, combined with a low-rank drift detector, candidate-restricted re-selection, and a decision that stays on the GPU. With one setting for all models and tasks, RCR outperforms the per-step retrieval method InfiniGen by 1.6-3.8 ROUGE-L points on five of six model-task settings with no significant difference on the sixth, while staying within 1.7 points of exact per-step re-selection, with comparable estimated data movement per step and a 4x smaller GPU-resident detector. On DetailCaps, drift-chosen timing beats random timing at the same refresh rate and periodic timing even at a higher rate, by 2.0-5.0 points. On pre-registered video description, where drift is homogeneous across samples, RCR is on par with InfiniGen on Qwen2-VL and exceeds it on Qwen3-VL but no longer beats a fixed threshold at the nearest tested rates, consistent with the diagnosis; object-level evaluation shows that RCR achieves higher object F1 against the uncompressed output than InfiniGen on two of three models.
• Abstract（参考訳）: マルチモーダル LLM に対する KV キャッシュ圧縮は、通常、一度だけ前もって保存する視覚トークンを選択し、その選択を世代全体で再利用する。 詳細な画像記述では、圧縮されていない回答の注意を払って選択するオラクルでさえ、圧縮されていない結果と0.44-0.52 ROUGE-Lの一致にしか達しない。 しかし、固定されたドリフト閾値は体系的に失敗し、ドリフトの規模はサンプル間で比較できないため、低ドリフトのサンプルはほとんどリフレッシュされないが、最も恩恵を受ける。 本稿では,低ランクドリフト検出器,候補制限再選択,GPU上に留まる決定の頻度を制御しながら,ドリフトがいつどこで再選択するかを決定することができるレート制御リフレッシュ(RCR)を提案する。 すべてのモデルとタスクの1つの設定で、RCRは6つのモデルタスク設定のうち6つのうち5つに対して1.6-3.8 ROUGE-LポイントでInfiniGenを上回り、ステップごとの正確な再選択の1.7ポイント以内に留まり、ステップごとのデータ移動とGPU常駐検出器の4倍小さい。 DetailCapsでは、ドリフト・チョーゼンのタイミングが、より高いレートでも、同じリフレッシュレートと周期的なタイミングでランダムなタイミングを2.0-5.0ポイント上回る。 サンプル間でドリフトが均一である事前登録ビデオ記述では、RCRはQwen2-VLでInfiniGenと同等であり、Qwen3-VLで上回っているが、診断と一致して最も近いテストレートで固定しきい値を超えない。

関連論文リスト

• MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers [51.6540025252929]
  スパースアテンション(Sparse attention)は、長周期生成タスクにおける拡散変圧器の遅延を低減するための主要なアプローチである。 同様のクエリをタイル型グループに整理しながら,個々のキー値(KV)トークンを選択するトレーニングフリーフレームワークであるMeta-Cached Sparse Attention (MC-Sparse)を提案する。 目に見える品質劣化を伴わずに、高密度アテンション出力に対する忠実度を達成し、既存のスパースアテンションベースラインよりも大きなデノナイジングスピードアップを実現する。
  論文  参考訳（メタデータ） (2026-10-05T17:51:42Z)
• The winner's curse in hardware VQE: drift-differenced remeasurement of finite-shot selection bias [0.0]
  有限ショット最適化は、ノイズの多い量子固有ソルバーエネルギーを人工的に精度良く見せることができる。 我々は2つのIBM Heron r3プロセッサ上でハードウェア駆動可能な分子活性空間を6つ研究した。
  論文  参考訳（メタデータ） (2026-09-23T11:22:50Z)
• Event-Based Motion Estimation via Oriented Distance Fields [55.23416502666468]
  イベントベースの動き推定は、高時間分解能と高速動作に対する堅牢性を必要とするタスクの中心である。 本稿では,この最適化を,事前計算された事象距離ベクトルの場上の1つの平均ステップに置き換える,オブジェクト指向距離場運動推定(ODF Motion Estimation)を提案する。 公開および自己収集されたデータセットでは,ODFの動作推定は,比較手法の中で最低レイテンシでサブピクセル精度に達する。
  論文  参考訳（メタデータ） (2026-08-25T08:27:42Z)
• TRACE: A Multi-Layer Benchmark for Human AI Controller Coordination Under Drift and Failure [0.0]
  現代のサイバー物理およびAI支援システムは、人間のオペレータ、AI決定モジュール、自動コントローラを単一の制御ループで結合する。 標準ベンチマークでは、これらのレイヤ間でドリフトと障害がどのように伝播するかの、タイムアラインなマルチレイヤトレースをキャプチャしない。 ALFREDは,日常的な家庭内課題に対する基礎的な指導基準である。
  論文  参考訳（メタデータ） (2026-08-07T00:03:55Z)
• CLEAR: Cognition and Latent Evaluation for Adaptive Routing in End-to-End Autonomous Driving [19.474428775260034]
  超高速な生成計画と深い意味的推論を組み合わせたフレームワークであるCLEARを提案する。 CLEARはDrive-JEPAをビジュアルエンコーダとして採用し、VAEラテント空間におけるマルチステップデノイングチェーンを単一ステップ条件ドリフトに置き換える。 NAVSIM v1ベンチマークでは、CLEARは93.7の最先端のPDMSを達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:32:10Z)
• FreqLite: A Lightweight Frequency-Decomposed Linear Model with Adaptive Reversible Normalization for Robust Long-Term Time-Series Forecasting [0.0]
  超軽量でチャネル非依存の周波数分解型線形予測器であるFreqLiteについて述べる。 FreqLiteは4倍のパラメータ、2.2倍のメモリ、2.2倍の時間でPatchTST変換器よりも平均誤差が低い。
  論文  参考訳（メタデータ） (2026-05-31T16:43:17Z)
• GS-STVSR: Ultra-Efficient Continuous Spatio-Temporal Video Super-Resolution via 2D Gaussian Splatting [71.12303582606019]
  Continuous Video Super-Resolution (C-STVSR) は、任意のスケールファクタによる動画の空間的・フレーム的レートの同時向上を目的としている。 2次元ガウシアンティング(2D-GS)に基づく超効率的なC-STVSRフレームワークであるGS-STVSRを提案する。 GS-STVSRは,すべてのベンチマークにおいて最先端の品質を実現していることを示す。
  論文  参考訳（メタデータ） (2026-04-20T10:11:05Z)
• RDumb++: Drift-Aware Continual Test-Time Adaptation [0.0]
  継続的テスト時間適応(Continuous Test-Time Adaptation)は、入ってくる未ラベルのデータストリームのみを使用して、デプロイ中に事前トレーニングされたモデルを更新する。 本稿では,RDumbの原理的拡張であるRDumb++を提案する。 RDumb++はRDumbを一貫して上回り、絶対精度は3%向上した。
  論文  参考訳（メタデータ） (2026-01-22T00:20:23Z)
• SwiTrack: Tri-State Switch for Cross-Modal Object Tracking [74.15663758681849]
  クロスモーダルオブジェクトトラッキング(CMOT)は、ビデオストリームが異なるモード間で切り替える間、ターゲットの一貫性を維持する新しいタスクである。 SwiTrackは3つの特別なストリームを配置することでCMOTを再定義する新しいステートスイッチングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-20T10:52:54Z)
• RAPID^3: Tri-Level Reinforced Acceleration Policies for Diffusion Transformer [86.57077884971478]
  ディフュージョントランスフォーマー(DiT)は、視覚発生時に優れるが、遅いサンプリングによって妨げられる。 本稿では,RAPID3: Tri-Level Reinforced Acceleration Policies for Diffusion Transformersを紹介する。 ベースジェネレータの更新をゼロにするイメージワイドアクセラレーションを提供する。 競合する生成品質でサンプリングを3倍近く高速化する。
  論文  参考訳（メタデータ） (2025-09-26T13:20:52Z)
• DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer [56.98400572837792]
  DiVEは高忠実で、時間的コヒーレントで、相互に一貫したマルチビュービデオを生成する。 これらの革新は総じて、最小品質の劣化を伴う2.62倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-04-28T09:20:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。