論文の概要: LazySloth: Bounded LLM-based Lazy Tree Search for Fast Long Video Comprehension

• arxiv url: http://arxiv.org/abs/2609.37426v1
• Date: Tue, 29 Sep 2026 12:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.500093
• Title: LazySloth: Bounded LLM-based Lazy Tree Search for Fast Long Video Comprehension
• Title（参考訳）: LazySloth: 高速ビデオ理解のためのLLMベース遅延木探索
• Abstract要約: 本稿では,ビデオ理解と検索タスク2.9-8.3xを高速化する効率的な木に基づく探索手法であるLazySlothを紹介する。 LazySlothは、最近の2つのオープンソースのベースビジョン言語モデルで、同様のあるいはより良い最終タスク精度を実現している。
• 参考スコア（独自算出の注目度）: 0.27998963147546146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern vision-language models (VLMs) have shown promising results in long-video understanding due to the rich semantic information they can capture. However, most methods focus on coarse captioning of extracted image frames that are computationally inefficient and require models with large context windows. While past work has explored efficient methods through multimodal retrieval-augmented generation (RAG), they rely on lossy embeddings that lose temporal context and fine-grained detail. Few works to date have investigated how VLM-based query-relevant information retrieval can be optimized. We introduce LazySloth, an efficient tree-based search method that speeds up video comprehension and retrieval tasks 2.9-8.3x (compared to existing agentic methods) through bounded captioning of portions of the video considered irrelevant by a VLM of the video. Compared to contemporary specialized video-understanding VLMs and RAG-based methods, LazySloth achieved similar or better final task accuracy across two recent open-source base VLMs--Gemma 4 31B and Qwen3.6 27B--across four benchmarks. LazySloth reduced the gap between the base open-source model and a closed-source model, GPT-4o. Ablations showed that replacing VLM scene understanding with CLIP-based retrieval cost 8.8-19.9% in accuracy, while lazy tree construction matches eager construction at a fraction of the captioning cost. With LazySloth, we demonstrate the possibility of faster long-video comprehension without substantial loss in performance.
• Abstract（参考訳）: 現代の視覚言語モデル(VLM)は、キャプチャ可能なリッチなセマンティック情報により、長ビデオ理解において有望な結果を示している。 しかし、ほとんどの手法は、計算的に非効率で、大きなコンテキストウィンドウを持つモデルを必要とする抽出画像フレームの粗いキャプションに焦点を当てている。 過去の研究は、マルチモーダル検索拡張生成(RAG)による効率的な手法を探求してきたが、時間的文脈と細かな詳細を欠く、不適切な埋め込みに依存していた。 VLMに基づくクエリ関連情報検索の最適化方法について,これまで検討されてきた研究はほとんどない。 本稿では,ビデオのVLMとは無関係と考えられる部分の有界キャプションを通じて,映像理解と検索タスク2.9-8.3x(既存のエージェント手法と比較)を高速化する,効率的なツリーベース検索手法であるLazySlothを紹介する。 現代のビデオ理解型VLMとRAGベースの手法と比較すると、LazySlothは最近の2つのオープンソースベースVLM--Gemma 4 31BとQwen3.6 27B-の4つのベンチマークで類似またはより良い最終タスク精度を達成した。 LazySlothはベースとなるオープンソースモデルとクローズドソースモデルであるGPT-4oのギャップを減らした。 アブレーションによると、VLMシーンの理解をCLIPベースの検索に置き換えるのに8.8-19.9%の精度でコストがかかるのに対し、遅延木の建設はキャプションコストのごく一部で熱心な建設と一致している。 LazySlothでは、性能が大幅に低下することなく、より高速な長ビデオ理解の可能性を示す。

関連論文リスト

• Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
  Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。 我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2025-10-15T19:14:58Z)
• AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding [73.60257070465377]
  AdaVideoRAGは、軽量なインテント分類器を使用して、クエリ複雑性に基づいた検索に適応する新しいフレームワークである。 我々のフレームワークは、Omni-Knowledge Indexingモジュールを使用して、テキスト(キャプション、ASR、OCR)、視覚的特徴、セマンティックグラフから階層データベースを構築する。 実験では、既存のMLLMにシームレスに統合することで、長時間ビデオ理解のための効率と精度の向上が示されている。
  論文  参考訳（メタデータ） (2025-06-16T15:18:15Z)
• TimeSearch: Hierarchical Video Search with Spotlight and Reflection for Human-like Long Video Understanding [24.52604124233087]
  大規模ビデオ言語モデル(LVLM)は、様々なビデオ言語タスクで顕著なパフォーマンスを示している。 長いビデオを空間的にも時間的にもダウンサンプリングすることは視覚幻覚を引き起こす可能性があるため、長いビデオを正確に解釈することは困難である。 TimeSearchは2つの人間のようなプリミティブを統合された自己回帰型LVLMに統合する。
  論文  参考訳（メタデータ） (2025-04-02T06:47:19Z)
• CaReBench: A Fine-Grained Benchmark for Video Captioning and Retrieval [24.203328970223527]
  本稿では,詳細な動画キャプションと検索のためのベンチマークであるCaReBenchを紹介する。 同様に、ビデオごとに手動で分離された空間アノテーションと時間アノテーションを提供する。 この設計に基づいて、ビデオ検索とビデオキャプションタスクに特化して、ReBiasとCapSTという2つの評価指標を導入する。
  論文  参考訳（メタデータ） (2024-12-31T15:53:50Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• VideoTree: Adaptive Tree-based Video Representation for LLM Reasoning on Long Videos [67.78336281317347]
  長文理解は,ビデオデータの冗長度が高く,クエリ非関連情報の豊富さによって複雑になる。 我々は,LLM推論のためのクエリ適応的かつ階層的なビデオ表現を構築する,トレーニング不要なフレームワークであるVideoTreeを提案する。
  論文  参考訳（メタデータ） (2024-05-29T15:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。