論文の概要: The Surprising Effectiveness of Multimodal Large Language Models for Video Moment Retrieval

• arxiv url: http://arxiv.org/abs/2406.18113v2
• Date: Wed, 24 Jul 2024 06:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-25 18:31:55.868197
• Title: The Surprising Effectiveness of Multimodal Large Language Models for Video Moment Retrieval
• Title（参考訳）: ビデオモーメント検索のためのマルチモーダル大言語モデルのサプライズ効果
• Authors: Meinardus Boris, Batra Anil, Rohrbach Anna, Rohrbach Marcus,
• Abstract要約: ビデオ言語タスクは空間的・時間的理解を必要とし、かなりの計算を必要とする。 本研究は,画像テキスト事前学習MLLMをモーメント検索に活用することの驚くべき有効性を示す。 我々は、Charades-STA、QVHighlights、ActivityNet Captionsといった広く使われているベンチマーク上で、新しい最先端のモーメント検索を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown promising results in utilizing multimodal large language models (MLLMs) for computer vision tasks such as object detection and semantic segmentation. However, many challenging video tasks remain under-explored. Video-language tasks necessitate spatial and temporal comprehension and require significant compute. Therefore, prior works have developed complex, highly specialized architectures or leveraged additional input signals such as video transcripts to best encode contextual and temporal information, which limits their generality and can be impractical. One particularly challenging task is video moment retrieval, which requires precise temporal and contextual grounding. This work demonstrates the surprising effectiveness of leveraging image-text pretrained MLLMs for moment retrieval. We introduce Mr. BLIP (Mr. as in Moment Retrieval), a multimodal, single-stage model that requires no expensive video-language pretraining, no additional input signal (e.g., no transcript or audio), and has a simpler and more versatile design than prior state-of-the-art methods. We achieve a new state-of-the-art in moment retrieval on the widely used benchmarks Charades-STA, QVHighlights, and ActivityNet Captions. Notably, we attain over 9% (absolute) higher Recall (at 0.5 and 0.7 IoU) on the challenging long-video multi-moment QVHighlights benchmark. Our code is publicly available.
• Abstract（参考訳）: 近年の研究では、オブジェクト検出やセマンティックセグメンテーションといったコンピュータビジョンタスクにMLLM(Multimodal large language model)を利用するという有望な成果が示されている。 しかし、多くの挑戦的なビデオタスクは未探索のままである。 ビデオ言語タスクは空間的・時間的理解を必要とし、かなりの計算を必要とする。 そのため、先行研究は複雑な、高度に専門化されたアーキテクチャを開発し、ビデオの書き起こしのような追加の入力信号を活用して、文脈情報や時間情報を最適にエンコードし、それらの一般化を制限し、実用的でない可能性がある。 特に難しい課題はビデオモーメント検索であり、正確な時間的および文脈的接地を必要とする。 本研究は,画像テキスト事前学習MLLMをモーメント検索に活用することの驚くべき有効性を示す。 BLIP(Mr. Mr. as in Moment Retrieval)は,高額なビデオ言語事前学習を必要とせず,付加的な入力信号(例えば,書き起こしや音声)も必要とせず,従来の最先端手法よりもシンプルで汎用性の高い設計である。 我々は、Charades-STA、QVHighlights、ActivityNet Captionsといった広く使われているベンチマーク上で、新しい最先端のモーメント検索を実現する。 特に、挑戦的な長ビデオマルチモーメントQVHighlightsベンチマークで、9%以上の(絶対)高いリコール(0.5と0.7 IoU)を実現しました。 私たちのコードは公開されています。

関連論文リスト

• Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs [7.03771340666549]
  MLLM(Multimodal Large Language Models)における視覚言語ミスアライメントは重要な課題である。 本稿では,MMA(Modality-mutual attention)に因果的注意を開放し,画像トークンがテキストトークンに参加することを可能にする新しいMLLMであるMapleLeaf AKIを提案する。 我々のMMA設計は汎用的であり、様々なモダリティにまたがるアプリケーションを可能にし、多様なマルチモーダルシナリオに対応できるようにスケーラブルである。
  論文  参考訳（メタデータ） (2025-03-04T13:18:33Z)
• Zero-shot Video Moment Retrieval via Off-the-shelf Multimodal Large Language Models [7.213221003652941]
  本稿では,凍結MLLMを用いたゼロショットVMRのためのチューニング不要パイプラインであるMoment-GPTを提案する。 我々はまずLLaMA-3を用いて言語バイアスを軽減するためにクエリの修正と表現を行い、その後MiniGPT-v2と組み合わせたスパンジェネレータを設計し、候補スパンを適応的に生成する。 提案手法は,複数の公開データセット上で,最先端のMLLMベースおよびゼロショットモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-01-14T09:45:10Z)
• Perceive, Query & Reason: Enhancing Video QA with Question-Guided Temporal Queries [50.47265863322891]
  Video Question Answering (ビデオQA)は、ビデオ全体を理解するためにモデルを必要とする、難しいビデオ理解タスクである。 近年のMLLM(Multimodal Large Language Models)の進歩は,ビデオQAに特有なコモンセンス推論機能を活用して変化している。 本稿では,フレーム単位の視覚知覚とLCMの推論能力の間に疑問を導いた時間的ブリッジを生成する,新しい時間的モデリング手法であるT-Formerを提案する。
  論文  参考訳（メタデータ） (2024-12-26T17:53:14Z)
• Survey of different Large Language Model Architectures: Trends, Benchmarks, and Challenges [15.850548556536538]
  大規模言語モデル(LLMs)は、自然言語の理解に精通したディープラーニングモデルのクラスである。 これらのモデルの先進的なサブセットであるMultimodal Large Language Models (MLLM)は、複数のデータモダリティを処理および解釈するためにLLM機能を拡張している。 本調査は,LLMの最近の進歩を概観する。
  論文  参考訳（メタデータ） (2024-12-04T11:14:06Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• MATE: Meet At The Embedding -- Connecting Images with Long Texts [37.27283238166393]
  Meet At The Embedding (MATE)は、大型言語モデル(LLM)とビジョン言語モデル(VLM)の機能を組み合わせた、新しいアプローチである。 我々は、VLMのテキストエンコーダを、長文の理解に優れたLLMベースのエンコーダに置き換える。 画像と長いテキストを接続するタスクを評価するために,2つの新たなクロスモーダル検索ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T14:10:00Z)
• LITA: Language Instructed Temporal-Localization Assistant [71.68815100776278]
  ビデオ長に対してタイムスタンプをエンコードするタイムトークンを導入し,ビデオ中のタイムスタンプをよりよく表現する。 また、アーキテクチャにSlowFastトークンを導入し、微細な時間分解能で時間情報をキャプチャする。 時間的ローカライゼーションに重点を置くことで,既存のビデオLLMに比べて映像ベースのテキスト生成が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T22:50:48Z)
• Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
  マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。 本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。 最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
  論文  参考訳（メタデータ） (2024-02-27T08:27:15Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• Video-based Person Re-identification with Long Short-Term Representation Learning [101.62570747820541]
  ビデオベースの人物再識別(V-ReID)は、オーバーラップしないカメラで撮影した生のビデオから特定の人物を回収することを目的としている。 本稿では,V-ReIDのためのLong Short-Term Representation Learning(LSTRL)という新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-07T16:22:47Z)
• Look, Remember and Reason: Grounded reasoning in videos with language models [5.3445140425713245]
  マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。 オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。 我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T16:31:14Z)
• MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks [59.09343552273045]
  本稿では,これらの異なる視覚言語タスクの協調学習に驚くほど有効であるマルチモーダルタスクのためのデコーダのみのモデルを提案する。 これらの多様な目的の合同学習は単純で効果的であり、これらのタスク間でのモデルの重量共有を最大化することを示した。 我々のモデルは,画像テキストとテキスト画像検索,ビデオ質問応答,オープン語彙検出タスクにおける技術の現状を達成し,より大きく,より広範囲に訓練された基礎モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-03-29T16:42:30Z)
• MuLTI: Efficient Video-and-Language Understanding with Text-Guided MultiWay-Sampler and Multiple Choice Modeling [7.737755720567113]
  本稿では,高精度かつ効率的な映像・言語理解モデル MuLTI を提案する。 適応プール残差マッピングと自己アテンションモジュールに基づくテキストガイド型マルチウェイサンプラーを設計する。 また,新しい事前学習タスクであるMultiple Choice Modelingを提案する。
  論文  参考訳（メタデータ） (2023-03-10T05:22:39Z)
• HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training [49.52679453475878]
  本稿では,モーメントとテキスト間の相互アライメントをモデル化するための時間対応ビデオ言語事前学習フレームワークHiTeAを提案する。 15の精確なビデオ言語理解と生成タスクに関する最先端の成果を得た。
  論文  参考訳（メタデータ） (2022-12-30T04:27:01Z)
• LAVENDER: Unifying Video-Language Understanding as Masked Language Modeling [102.42424022921243]
  Masked Language Modeling (MLM) は、すべての事前学習および下流タスクの共通インターフェースとして使用される。 実験により、この統合フレームワークは14のVidLベンチマークで競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T20:43:25Z)
• Revisiting the "Video" in Video-Language Understanding [56.15777956496518]
  本稿では,ビデオ言語解析の新しいモデルであるアテンポラルプローブ(ATP)を提案する。 現在のビデオ言語ベンチマークの限界とポテンシャルを特徴付ける。 ATPをフルビデオレベル時間モデルに効果的に統合することで、効率と最先端の精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:57:33Z)
• Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
  ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。 オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。 本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-12-10T14:47:02Z)
• Video Understanding as Machine Translation [53.59298393079866]
  我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。 映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
  論文  参考訳（メタデータ） (2020-06-12T14:07:04Z)
• HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
  本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
  論文  参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。