論文の概要: Grounding Confusable Movie Moments
- arxiv url: http://arxiv.org/abs/2610.23910v1
- Date: Wed, 30 Sep 2026 15:39:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:35:40.332292
- Title: Grounding Confusable Movie Moments
- Title(参考訳): グラウンド・コンフリブル・ムービー・モーメント
- Abstract要約: まず、検索者がまず短い候補チャンクを選択し、ローカライザが時間的接地を行う、検索テーマのローカライズパイプラインを解析する。
最先端のレトリバーは、しばしば、その2つの瞬間が共有するコンテンツに従うため、その2つの瞬間を区別するディテールではなく、その2つの瞬間を選択するため、その瞬間のコンフリクトを選択する。
MLLMエージェント $textitDecomposes$ the query to attribute-level sub-queries, then MLLM agent $textitDecomposes$
- 参考スコア(独自算出の注目度): 27.772766872269827
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Characters, locations, and actions recur throughout a movie, so many of its moments differ only in fine-grained details. Grounding such a moment in a full-length movie requires resolving that detail rather than matching the attributes it shares with other moments, yet existing temporal movie grounding benchmarks rarely test this. We introduce CoM$^2$-Bench, a benchmark of confusable query pairs, where the two queries in each pair share most attributes but differ in a single distinguishing detail within a full movie, posing a challenge for recent temporal grounding approaches. To locate where grounding breaks down, we analyze a retrieve-then-localize pipeline, in which a retriever first selects a short candidate chunk and a localizer then performs temporal grounding within it. Separating the two stages lets us attribute each failure to either retrieval or localization. We find that retrieval is the major bottleneck: state-of-the-art retrievers often select a moment's confusable counterpart, because their choices follow the content the two moments share rather than the detail that tells them apart. To address these failures, we propose a simple, training-free remedy, Agentic Window Search (AWS): an MLLM agent $\textit{Decomposes}$ the query into attribute-level sub-queries, then $\textit{Inspects}$ each candidate window against them and $\textit{Expands}$ the window when evidence is cut off at its edge. AWS works with existing retrievers and localizers without additional training, raising mIoU from 18.5 to 26.8.
- Abstract(参考訳): キャラクター、場所、行動は映画を通して繰り返されるため、その瞬間の多くは細かな細部でしか変化しない。
フル長の映画でそのような瞬間をグラウンドするには、他の瞬間と共有する属性と一致するのではなく、その詳細を解決する必要があるが、既存の時間的映画のグラウンドベンチマークでは、これをテストすることはめったにない。
CoM$^2$-Benchは,2つの問合せのベンチマークであり,各問合せの2つの問合せがほとんどの属性を共有できるが,一本の映画内での細部を区別し,近年の時間的接地アプローチの課題を呈している。
そこで,検索者がまず短い候補チャンクとローカライザを選択し,その内部で時間的接地を行う。
2つのステージを分離することで、各障害を検索またはローカライゼーションのいずれかに関連付けることができます。
最先端のレトリバーは、しばしば、その2つの瞬間が共有するコンテンツに従うため、その2つの瞬間を区別するディテールではなく、その2つの瞬間を選択するため、その瞬間のコンフリクトを選択する。
MLLMエージェント $\textit{Decomposes}$ 属性レベルのサブクエリへのクエリに対して$\textit{Inspects}$ それぞれの候補ウィンドウに対して$\textit{Inspects}$ と$\textit{Expands}$ エッジでエビデンスを切断した場合のウィンドウに対して$\textit{Expands}$ である。
AWSは既存のレトリバーやローカライザと連携して、追加のトレーニングをすることなく、mIoUを18.5から26.8に引き上げている。
関連論文リスト
- Where, How, and When: Query-Guided Grounding for Video Understanding [2.648500779572419]
この論文は、キーオブジェクトがどこにあるかに答える、クエリ誘導の3つのグラウンドタスクを研究する。
オブジェクトレベルのグラウンド化のために、ビデオ中の未確認オブジェクトのワンショットローカライズのための、クエリ誘導による検出トランスフォーマーの拡張であるQDETRvを提案する。
関係レベルのグラウンド化のために,ビデオに数発の参照関係を導入する。
モーメント・アライメント・トランスフォーマー (MATR) を用いたモーメント・アライメント・トランスフォーマーを提案する。
論文 参考訳(メタデータ) (2026-10-15T07:32:57Z) - DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding [41.985888701957826]
ゼロショットビデオ時間グラウンド(VTG)は、タスク固有のトレーニングなしで自然言語クエリから未トリミングされたビデオ内のイベントをローカライズする。
本研究では,大きな視覚モデルにおける構造的推論と難易度を考慮したルーティングを結合することでギャップを埋めるDARTを提案する。
Charades-STAとActivityNet Captionsでは、DARTは、同じ分散と複数のアウト・オブ・ディストリビューション設定の両方で、最先端のゼロショットパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-01T09:18:59Z) - Rethinking RAG in Long Videos: What to Retrieve and How to Use It? [56.38819694781005]
V-RAGBenchは$langle$query, evidence chunk, answer$rangle$三重項のベンチマークで、検索と生成を忠実に分離した評価を可能にする。
また、CARVEは、コンフィグレーションにまたがって並列レトリバーを動作させ、チャンク毎に入賞構成を識別するためにチャンク適応リランクを用いる手法である。
論文 参考訳(メタデータ) (2026-06-11T10:05:49Z) - Not All Inputs Are Valid: Towards Open-Set Video Moment Retrieval Using Language [82.18047702848021]
Video Moment Retrieval (VMR) は、未トリミングビデオから文クエリに対応する特定のモーメントを検索するターゲットである。
この目的のために、我々は、新しいVMR設定であるOpen-Set Video Moment Retrieval (OS-VMR)を創造的に探求する。
本稿では,OS-VMRに向けた最初の試みとして,正規化フロー技術に基づくIDおよびOODクエリを識別する新しいモデルであるtextOpenVMRを提案する。
論文 参考訳(メタデータ) (2026-05-28T11:57:14Z) - Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language [60.91064560080974]
本稿では,クエリ関連クリップをトリムするスポットVMRを提案する。
提案するSpotVMRは,最新のVMR手法の効率性を実現するプラグイン・アンド・プレイモジュールとして機能する。
論文 参考訳(メタデータ) (2026-05-28T11:42:28Z) - ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance [56.15563109738998]
ForeSeaは3段階のプラグアンドプレイパイプラインを備えたAI法医学検索システムである。
ForeSeaは従来のビデオRAGモデルよりも精度を3.5%向上し、一時IoUは11.0向上した。
論文 参考訳(メタデータ) (2026-03-24T07:15:28Z) - Enrich and Detect: Video Temporal Grounding with Multimodal LLMs [60.224522472631776]
ED-VTGは,マルチモーダルな大言語モデルを用いた微細なビデオ時間的グラウンド化手法である。
提案手法は,テキストと動画を共同処理するマルチモーダルLLMの機能を利用する。
我々は,時間的ビデオグラウンドと段落グラウンドの設定において,様々なベンチマークにおいて最先端の結果を示す。
論文 参考訳(メタデータ) (2025-10-19T22:12:45Z) - MomentSeeker: A Task-Oriented Benchmark For Long-Video Moment Retrieval [61.414236415351446]
長ビデオモーメント検索(LMVR)のための新しいベンチマークであるMomentSeekerを提案する。
MomentSeekerは、長く多様なビデオに基づいて作られ、平均1200秒以上持続する。
グローバルレベル、イベントレベル、オブジェクトレベル、アクション認識、オブジェクトローカライゼーション、因果推論といった一般的なタスクをカバーする。
論文 参考訳(メタデータ) (2025-02-18T05:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。