論文の概要: LLaVA-MR: Large Language-and-Vision Assistant for Video Moment Retrieval

• arxiv url: http://arxiv.org/abs/2411.14505v1
• Date: Thu, 21 Nov 2024 09:34:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:08.020986
• Title: LLaVA-MR: Large Language-and-Vision Assistant for Video Moment Retrieval
• Title（参考訳）: LLaVA-MR:ビデオモーメント検索のための大規模言語・視覚アシスタント
• Authors: Weiheng Lu, Jian Li, An Yu, Ming-Ching Chang, Shengpeng Ji, Min Xia,
• Abstract要約: モーメント検索のためのLarge Language-and-Vision Assistant(LLaVA-MR)を提案する。 LLaVA-MRはマルチモーダル大言語モデル(MLLM)を用いたビデオにおける正確なモーメント検索と文脈グラウンド化を可能にする Charades-STAやQVHighlightsのようなベンチマークによる評価は、LLaVA-MRが11の最先端メソッドより優れていることを示している。
• 参考スコア（独自算出の注目度）: 14.136397687227111
• License:
• Abstract: Multimodal Large Language Models (MLLMs) are widely used for visual perception, understanding, and reasoning. However, long video processing and precise moment retrieval remain challenging due to LLMs' limited context size and coarse frame extraction. We propose the Large Language-and-Vision Assistant for Moment Retrieval (LLaVA-MR), which enables accurate moment retrieval and contextual grounding in videos using MLLMs. LLaVA-MR combines Dense Frame and Time Encoding (DFTE) for spatial-temporal feature extraction, Informative Frame Selection (IFS) for capturing brief visual and motion patterns, and Dynamic Token Compression (DTC) to manage LLM context limitations. Evaluations on benchmarks like Charades-STA and QVHighlights demonstrate that LLaVA-MR outperforms 11 state-of-the-art methods, achieving an improvement of 1.82% in R1@0.5 and 1.29% in mAP@0.5 on the QVHighlights dataset. Our implementation will be open-sourced upon acceptance.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は視覚的知覚、理解、推論に広く用いられている。 しかし、LLMの限られたコンテキストサイズと粗いフレーム抽出のため、長いビデオ処理と正確なモーメント検索は依然として困難である。 MLLMを用いたビデオの正確なモーメント検索とコンテキストグラウンド化を可能にするLarge Language-and-Vision Assistant for Moment Retrieval (LLaVA-MR)を提案する。 LLaVA-MRは、空間的時間的特徴抽出のためのDense FrameとTime Encoding(DFTE)、短い視覚的および運動パターンをキャプチャするためのInformative Frame Selection(IFS)、LLMコンテキスト制限を管理するためのDynamic Token Compression(DTC)を組み合わせる。 Charades-STAやQVHighlightsといったベンチマークによる評価によると、LLaVA-MRは11の最先端メソッドより優れており、QVHighlightsデータセットではR1@0.5で1.82%、mAP@0.5で1.29%向上している。 私たちの実装は受け入れ次第オープンソースにします。

関連論文リスト

• MomentSeeker: A Comprehensive Benchmark and A Strong Baseline For Moment Retrieval Within Long Videos [62.01402470874109]
  我々は、一般的な長時間ビデオモーメント検索タスクの処理において、検索モデルの性能を評価するベンチマークであるMomentSeekerを提案する。 平均で500秒を超える長いビデオが組み込まれており、長時間ビデオのモーメント検索に特化した最初のベンチマークとなっている。 幅広いタスクカテゴリ(Moment Search, Caption Alignment, Image-conditioned Moment Search, Video-conditioned Moment Searchなど)と多様なアプリケーションシナリオをカバーする。 さらに、MLLMベースのLVMRレトリバーを合成データ上に微調整し、ベンチマークで高い性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T05:50:23Z)
• InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
  本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。 InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。 実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-01-21T18:59:00Z)
• Zero-shot Video Moment Retrieval via Off-the-shelf Multimodal Large Language Models [7.213221003652941]
  本稿では,凍結MLLMを用いたゼロショットVMRのためのチューニング不要パイプラインであるMoment-GPTを提案する。 我々はまずLLaMA-3を用いて言語バイアスを軽減するためにクエリの修正と表現を行い、その後MiniGPT-v2と組み合わせたスパンジェネレータを設計し、候補スパンを適応的に生成する。 提案手法は,複数の公開データセット上で,最先端のMLLMベースおよびゼロショットモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-01-14T09:45:10Z)
• LLaVA-Zip: Adaptive Visual Token Compression with Intrinsic Image Information [4.33464415015353]
  LLaVA-1.5に基づく動的特徴マップ削減(DFMR)を提案し、視覚的トークンオーバーロードの課題に対処する。 DFMRは視覚トークンを動的に圧縮し、トークン容量を解放する。 実験の結果, DFMRをLLaVA-1.5に統合することで, 各種視覚トークン長におけるLLaVAの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-12-11T20:46:06Z)
• AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
  マルチモーダルLLMのための学習自由適応推論法を提案する。 最小限の設計により,本手法はビデオと画像の両方に応用できる。 同様の計算コストで,本手法は長いビデオ理解において最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-04T11:47:57Z)
• TC-LLaVA: Rethinking the Transfer from Image to Video Understanding with Temporal Considerations [23.188508465235717]
  本稿では,映像理解タスクにおけるモデルの能力を高めるための2つの戦略を提案する。 第1のアプローチは、回転位置埋め込み(RoPE)と時間認識デュアルRoPEの強化に焦点を当てる。 第二のアプローチは、フレームワイドのブロック因果マスクによる注意マスクの強化である。
  論文  参考訳（メタデータ） (2024-09-05T02:54:17Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• Context-Enhanced Video Moment Retrieval with Large Language Models [22.283367604425916]
  ビデオモーメント検索(VMR)の現在の手法は、特定の環境詳細、キャラクター記述、アクション物語を含む複雑な状況の整合に苦慮している。 本稿では,LMR(Large Language Model-Guided Moment Retrieval)アプローチを提案する。 大規模な実験により、LMRは最先端の結果を達成し、挑戦的なQVHighlightsとCharades-STAベンチマークにおいて、最も近い競合相手を3.28%、そして4.06%で上回った。
  論文  参考訳（メタデータ） (2024-05-21T07:12:27Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models [84.78513908768011]
  MRA(Mixture-of-Resolution Adaptation)と呼ばれるMLLMの新規かつ効率的な手法を提案する。 MRAは解像度の異なる画像に対して2つの視覚経路を採用し、高解像度の視覚情報を低解像度の経路に埋め込む。 MRAを検証するために、LLaVAと呼ばれる最近のMLLMに適用し、新しいモデルLLaVA-HRと呼ぶ。
  論文  参考訳（メタデータ） (2024-03-05T14:31:24Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。