論文の概要: Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference

• arxiv url: http://arxiv.org/abs/2610.39562v2
• Date: Tue, 03 Nov 2026 02:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.369284
• Title: Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference
• Title（参考訳）: Raincheck: 効率的なマルチターンMLLM推論のためのデフテッドマルチモーダルプレフィル
• Abstract要約: Raincheckは遅延マルチモーダルプリフィルのためのフレームワークである。 Raincheckは、未選択のトークンをソース順に保存し、徐々にプリフィルする。 注意可視性制御とアフィン状態マッピングはコンテキスト更新を可能にする。
• 参考スコア（独自算出の注目度）: 20.39761142117266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn conversations with multimodal large language models (MLLMs) reuse input context, but long multimodal inputs increase time to first token (TTFT). Query-aware hard pruning reduces prefill tokens but permanently excludes information that later questions may require. We propose Raincheck, a framework for deferred multimodal prefill that decouples initial token selection from later information availability. An existing pruning method selects tokens for initial prefill; Raincheck preserves and progressively prefills unselected tokens in source order using unused compute capacity during decode. Unfinished prefill continues after answer return during available scheduling gaps. Attention visibility control and affine state mapping enable context updates after generation begins in full-attention and hybrid recurrent models. Prefill-decode fusion reduces repeated weight reads. We evaluate Qwen3-VL-8B and Qwen3.5-9B with 30% initial multimodal-token retention. Across both models and four pruning methods, Raincheck recovers on average 77.7% and 60.4% of the quality lost to matched hard pruning on MultiVerse and ConvBench, respectively. On MultiVerse, the SGLang implementation reduces mean first-turn TTFT by up to 24.1% relative to full prefill, with less than 0.5% increase in mean time per output token (TPOT).
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)を用いたマルチターン会話は入力コンテキストを再利用するが、長いマルチモーダル入力は第1トークン(TTFT)までの時間を増大させる。 クエリ対応のハードプルーニングはプリフィルトークンを減らすが、後続の質問が必要とする情報を永久に排除する。 遅延マルチモーダルプリフィルのためのフレームワークであるRaincheckを提案する。 Raincheckは、デコード中に未使用の計算容量を使用して、未使用のトークンをソース順に保存し、段階的にプリフィルする。 未完成のプリフィルは、利用可能なスケジューリングギャップの間、回答の返却後に継続する。 注意可視性制御とアフィン状態マッピングは、全アテンションモデルとハイブリッドリカレントモデルで生成開始後のコンテキスト更新を可能にする。 プリフィル・デコード融合は繰り返しの読み出しを減らす。 我々は,Qwen3-VL-8BとQwen3.5-9Bを初期マルチモーダルトーケン保持率30%で評価した。 両方のモデルと4つのプルーニング法で、Raincheckは平均77.7%と60.4%で回復し、それぞれMultiVerseとConvBenchのハードプルーニングにマッチした。 MultiVerseでは、SGLangの実装により、平均1ターンTTFTをフルプリフィルと比較して最大24.1%削減し、平均出力時間(TPOT)は0.5%以下になった。

関連論文リスト

• TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning [55.18459469601808]
  TokenGateは、学習可能なトークンプルーニングを可能にするために、既存のトレーニングモデルを拡張する小さなコンポーネントである。 トークンプルーニングのための非微分不可能なトップK演算子にも拘わらず、エンドツーエンドの学習を可能にするため、トークン付き注目を導入する。 様々なタスクにおいて、TokenGateは1.4$-11.3times$高速タイムツーファーストトークン(TTFT)と1.5$-3.4times$低ピークメモリを実現している。
  論文  参考訳（メタデータ） (2026-10-19T17:15:53Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• PARTREP: Learning What to Repeat for Decoder-only LLMs [12.053018926036678]
  PartRepは、最も情報性の高いトークンのみを付加する選択的な拡張方法である。 我々は、初期層隠れ状態から高NLLトークンを予測する軽量ゲートを訓練する。 PartRep は KV キャッシュの 59.4% と 79.0% のプレフィル FLOP を使用しながら、フル繰り返しの利益のほとんどを維持している。
  論文  参考訳（メタデータ） (2026-07-02T07:07:28Z)
• Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
  om-LLMの層単位でのトークン依存性を解析する。 効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:55:16Z)
• Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
  シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。 TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-11-11T18:57:02Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs [30.97955016203357]
  マルチモーダルな大言語モデルでは、入力される視覚トークンの長さはテキストのそれよりもはるかに大きいことが多い。 我々は,保持トークンの条件付き多様性を最大化する,CDPrunerという新しい視覚的トークン解析手法を提案する。 実験の結果、CDPrunerは様々な視覚ベースのベンチマークで新しい最先端を確立できることがわかった。
  論文  参考訳（メタデータ） (2025-06-12T17:59:09Z)
• Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions [50.114651561111245]
  マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
  論文  参考訳（メタデータ） (2022-12-20T18:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。