論文の概要: Training-Free Inference Acceleration for Video Large Language Models: Methods, Trade-offs, and Evaluation

• arxiv url: http://arxiv.org/abs/2610.36327v1
• Date: Mon, 26 Oct 2026 21:55:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.20381
• Title: Training-Free Inference Acceleration for Video Large Language Models: Methods, Trade-offs, and Evaluation
• Title（参考訳）: ビデオ大言語モデルの学習自由推論高速化:方法,トレードオフ,評価
• Abstract要約: ビデオ大言語モデル(VLM)は、ビデオ理解と推論において強力な能力を示しているが、長時間の視覚的遅延処理は、かなりの計算量、レイテンシ、メモリオーバーヘッドを引き起こす。 本研究は, 課題関連証拠を保存しながら, 推論コストの低減に焦点をあてて, 無トレーニング推論促進について検討する。
• 参考スコア（独自算出の注目度）: 30.023826219452683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Large Language Models (VLMs) have demonstrated strong capabilities in video understanding and reasoning, but processing long visual sequences incurs substantial computational, latency, and memory overhead. This survey examines training-free inference acceleration, focusing on reducing inference costs while preserving task-relevant spatiotemporal evidence. We organize existing methods by their intervention stages in the inference pipeline, covering input, visual encoding, projector, prefill, and decoding. Post-training quantization (PTQ) is discussed separately as a cross-stage extension with varying calibration requirements. We analyze how intervention position affects evidence preservation and computational savings, and why local efficiency improvements may not translate into end-to-end acceleration. We complement this analysis with quantitative evidence from prior studies and our own experiments under a shared evaluation setting to assess accuracy-latency trade-offs.
• Abstract（参考訳）: ビデオ大言語モデル(VLM)は、ビデオ理解と推論において強力な能力を示しているが、長い視覚的シーケンスを処理すると、かなりの計算量、レイテンシ、メモリオーバーヘッドが発生する。 本研究は,タスク関連時空間証拠を保存しながら,推論コストの低減に焦点をあてて,トレーニング不要な推論促進について検討する。 我々は既存の手法を推論パイプラインの介入段階によって整理し、入力、視覚的エンコーディング、プロジェクタ、プリフィル、デコーディングを網羅する。 トレーニング後の量子化(PTQ)は、様々なキャリブレーション要件を持つクロスステージ拡張として別々に議論される。 我々は、介入位置が証拠保存と計算的貯蓄にどのように影響するか、また、局所的な効率改善がエンドツーエンドの加速に変換されない理由を分析する。 我々は,この分析を,従来の研究から得られた定量的な証拠と,精度-遅延トレードオフを評価するための共有評価設定に基づく実験とを補完する。

関連論文リスト

• From Perception to Prediction and Intervention: Benchmarking Proactive Video Assistants in Real-Life Scenarios [37.81708997870599]
  textscP$3$IBenchは,リアルタイムストリーミングシナリオにおけるプロアクティブビデオ理解のためのベンチマークである。 我々は、ストリーミングや適応型非ストリーミングシステムを含む12の代表的なオープンソースおよびプロプライエタリなビデオ言語モデルをベンチマークする。 我々は、追加のプロアクティブトレーニングデータを構築し、textscP$3$I-Assistant-4B をトレーニングし、いくつかのタスクを改善する。
  論文  参考訳（メタデータ） (2026-10-15T09:23:45Z)
• CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs [50.189987475377656]
  マルチモーダル推論における適応推論長最適化のための能力認識型報酬形成フレームワークであるCAREを提案する。 CAREは、パスレートの指数的な移動平均を通したスムーズなコンピテンス推定を維持し、それを訓練を進行段階にルートするために利用する。 複数のビデオ推論と一般的なビデオ理解ベンチマークの実験により、CAREは推論精度を一貫して改善し、強化学習を安定化し、トークン効率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-06-18T08:28:26Z)
• A Systematic Post-Train Framework for Video Generation [76.26555417456773]
  大規模ビデオ拡散モデルでは、高解像度でセマンティックにリッチなコンテンツを生成できることが顕著に示されている。 迅速な感度、時間的不整合、禁止的推論コストといった重要な問題のために、事前訓練されたパフォーマンスと実際のデプロイメント要件の間には、大きなギャップが残っている。 本研究では,事前学習されたモデルとユーザの意図を4つの相乗的段階を通して体系的に整合させる総合的なポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-28T09:34:51Z)
• Summarize Before You Speak with ARACH: A Training-Free Inference-Time Plug-In for Enhancing LLMs via Global Attention Reallocation [9.508727214134106]
  大規模言語モデル(LLM)は優れたパフォーマンスを達成するが、さらなる向上にはコストのかかるトレーニングが必要になることが多い。 これは、トレーニング後のテクニック、特にウェイトを更新せずに推論時にモデルを改善するトレーニングなしのアプローチへの関心の高まりを動機付けている。 本稿では,適応型文脈ハブを用いた学習自由推論時プラグインであるARACH(Attention Reallocation via an Adaptive Context Hub)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T06:07:54Z)
• Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models [0.0]
  大規模言語モデル(LLM)は複雑な推論ベンチマークで急速に改善されている。 産業アプリケーションの場合、モデルの選択は生の精度だけでなく、リソースの制約や推論コストにも依存する。
  論文  参考訳（メタデータ） (2025-12-31T10:51:32Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining [33.22703101533052]
  大規模な言語モデルは、事前訓練中に非自明な抽象化を学ぶ。 スパース・クロスコーダを使用して、モデルのチェックポイント間で機能を発見、調整しています。 プレトレーニング中に,クロスコーダが特徴の出現,維持,継続を検知できることを示す。
  論文  参考訳（メタデータ） (2025-09-05T17:56:24Z)
• Video-LLMs with Temporal Visual Screening [59.18455762289321]
  テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
  論文  参考訳（メタデータ） (2025-08-27T14:33:32Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。