論文の概要: Where, How, and When: Query-Guided Grounding for Video Understanding

• arxiv url: http://arxiv.org/abs/2610.21422v1
• Date: Thu, 15 Oct 2026 07:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.253919
• Title: Where, How, and When: Query-Guided Grounding for Video Understanding
• Title（参考訳）: ビデオ理解のための検索ガイド付きグラウンドの場所、方法、時期
• Abstract要約: この論文は、キーオブジェクトがどこにあるかに答える、クエリ誘導の3つのグラウンドタスクを研究する。 オブジェクトレベルのグラウンド化のために、ビデオ中の未確認オブジェクトのワンショットローカライズのための、クエリ誘導による検出トランスフォーマーの拡張であるQDETRvを提案する。 関係レベルのグラウンド化のために,ビデオに数発の参照関係を導入する。 モーメント・アライメント・トランスフォーマー (MATR) を用いたモーメント・アライメント・トランスフォーマーを提案する。
• 参考スコア（独自算出の注目度）: 2.648500779572419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding video content requires reasoning at multiple levels of granularity, from identifying objects to interpreting their interactions and localizing when specific actions occur. This thesis studies three query-guided grounding tasks that answer where key objects are (object-level grounding), how they interact (relationship-level grounding), and when specific moments occur (moment-level grounding). For object-level grounding, we present QDETRv, a query-guided extension of the Detection Transformer for one-shot localization of unseen objects in videos, which combines query-context fusion, a memory module for temporal consistency, and unsupervised pretraining on synthetic object trajectories. We further propose the Temporal Object-Aware Vision Transformer (TOViT) for few-shot video object detection, which builds on a language-aligned open-set vision encoder and propagates high-confidence object features across frames. For relationship-level grounding, we introduce few-shot referring relationships in videos: given a (subject, predicate, object) query and a few support videos sharing the predicate, the entities are localized by optimizing a T-partite random field using a meta-learned relation network with query-conditioned translational embeddings, Global Semantic Aggregation, Local Localization Aggregation, and belief-propagation-based message passing. For moment-level grounding, we propose the Moment Alignment Transformer (MATR) for video-to-video moment retrieval, which uses dual-stage Dynamic Time Warping for pre- and post-fusion alignment, learnable queries for boundary prediction, and self-supervised pretraining with temporal augmentations; MATR also extends to text-to-video moment retrieval with performance comparable to, or better than, the state of the art. These contributions advance query-guided video understanding across spatial, relational, and temporal grounding.
• Abstract（参考訳）: ビデオの内容を理解するには、オブジェクトの識別からインタラクションの解釈、特定のアクションの発生時のローカライズに至るまで、さまざまなレベルの粒度での推論が必要である。 この論文は、キーオブジェクトがどこにあるか(オブジェクトレベルの接地)、どのように相互作用するか(関係レベルの接地)、そして特定の瞬間(モーメントレベルの接地)に答える3つのクエリ誘導接地タスクを研究する。 オブジェクトレベルのグラウンド化のために、QDETRvを提案する。QDETRvは、ビデオ中の未確認オブジェクトのワンショットローカライズのためのクエリ誘導トランスフォーマーの拡張であり、クエリコンテキスト融合、時間的一貫性のためのメモリモジュール、合成オブジェクト軌跡の教師なし事前学習を組み合わせたものである。 さらに,言語対応のオープンセット・ビジョン・エンコーダ上に構築され,フレーム間の高信頼度オブジェクト特徴を伝播する映像オブジェクト検出用テンポラルオブジェクト認識型視覚変換器(TOViT)を提案する。 対象, 述語, 対象) クエリと述語を共有するいくつかのサポートビデオが与えられた場合, エンティティは, クエリ条件付き翻訳埋め込みを用いたメタ学習型関係ネットワーク, グローバルセマンティック・アグリゲーション, ローカル・ローカライゼーション・アグリゲーション, 信念伝達に基づくメッセージパッシングを用いて, T-パーティントランダムフィールドを最適化することにより, ローカライズされる。 モーメント・アライメント・トランスフォーマ(MATR)をビデオ間モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・モーメント・コンバータ(MATR)として提案する。 これらのコントリビューションは、空間的、リレーショナル、時間的グラウンドをまたいだクエリ誘導ビデオ理解を促進する。

関連論文リスト

• STORM: End-to-End Referring Multi-Object Tracking in Videos [21.06069180171397]
  参照マルチオブジェクト追跡(RMOT)は、所定のテキストクエリや参照式にセマンティックにマッチするビデオ内のすべてのオブジェクトを関連付けるタスクである。 既存のRMOTアプローチは、オブジェクトのグラウンドとトラッキングを分離したモジュールに分解し、限られた性能を示す。 統合されたフレームワーク内でグラウンディングとトラッキングを共同で実行するエンドツーエンドのMLLMであるSTORMを紹介します。
  論文  参考訳（メタデータ） (2026-04-12T08:43:28Z)
• Object-Centric Framework for Video Moment Retrieval [15.916994168542345]
  既存のモーメント検索手法の多くは、主にグローバルな視覚情報と意味情報をエンコードするフレームレベルの特徴の時間的シーケンスに依存している。 特に、オブジェクトレベルの時間的ダイナミクスは、主に見過ごされ、オブジェクトレベルの推論を必要とするシナリオにおける既存のアプローチを制限する。 提案手法は,まずシーングラフを用いてクエリ関連オブジェクトを抽出し,次にビデオフレームからグラフを抽出して,それらのオブジェクトとその関係を表現する。 シーングラフに基づいて、リッチな視覚情報や意味情報をエンコードするオブジェクトレベルの特徴系列を構築し、時間とともにオブジェクト間の関係時間的ローカライゼーションをモデル化するビデオトラックレット変換器で処理する。
  論文  参考訳（メタデータ） (2025-12-20T17:44:53Z)
• 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
  本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。 DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する 単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
  論文  参考訳（メタデータ） (2025-12-07T06:11:15Z)
• SVAG-Bench: A Large-Scale Benchmark for Multi-Instance Spatio-temporal Video Action Grounding [48.64661382961745]
  本研究では,ビデオ中のすべての参照オブジェクトを同時に検出,追跡,時間的ローカライズするモデルを必要とする新しいタスクである,SVAG(Spatio-temporal Video Action Grounding)を紹介する。 SVAG-Benchは688の動画、19,590の注釈付きレコード、903のユニークな動詞からなる大規模ベンチマークである。 実験の結果、既存のモデルではSVAG、特に密集したシーンや複雑なシーンでは性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2025-10-14T22:10:49Z)
• Temporal Grounding as a Learning Signal for Referring Video Object Segmentation [29.646697516547558]
  Referring Video Object (RVOS)は、自然言語表現に基づくビデオ内のオブジェクトのセグメンテーションと追跡を目的としており、ビジュアルコンテンツとテキストクエリの正確なアライメントを必要とする。 既存の手法は、主に訓練中にフレームサンプリングとすべての可視物体の監督が区別できないため、意味的ミスアライメントに悩まされることが多い。 私たちは、MeViSベンチマークに基づいて構築されたデータセットであるMeViS-Mを紹介します。
  論文  参考訳（メタデータ） (2025-08-16T07:34:43Z)
• End-to-End Dense Video Grounding via Parallel Regression [30.984657885692553]
  ビデオグラウンドイングは、言語クエリが与えられた未トリミングビデオに対応するビデオモーメントをローカライズすることを目的としている。 本稿では,Transformer-alike Architecture (PRVG) を再構成することで,エンドツーエンドの並列デコーディングパラダイムを提案する。 設計の単純さのおかげで、私たちのPRVGフレームワークは異なるテストスキームに適用できます。
  論文  参考訳（メタデータ） (2021-09-23T10:03:32Z)
• Visual Relation Grounding in Videos [86.06874453626347]
  映像における視覚的リレーショナルグラウンドディング(RGV)という小説を探索する。 この課題は、他のビデオ言語タスク(例えば、ビデオグラウンドとビデオ質問応答)に対して支援的な視覚的事実を提供することを目的としている。 構築された階層時間領域上の2つの領域列を協調的に最適化することで、課題に対処する。 実験により,本モデルがベースラインアプローチを著しく上回るだけでなく,視覚的に意味のある事実を生成できることが示された。
  論文  参考訳（メタデータ） (2020-07-17T08:20:39Z)
• Local-Global Video-Text Interactions for Temporal Grounding [77.5114709695216]
  本稿では,テキストクエリに関連するビデオの時間間隔を特定することを目的とした,テキスト間時間グラウンドリングの問題に対処する。 そこで本研究では,テキストクエリにおける意味句の中間レベルの特徴の集合を抽出する,新しい回帰モデルを用いてこの問題に対処する。 提案手法は,ローカルからグローバルへのコンテキスト情報を活用することにより,目標時間間隔を効果的に予測する。
  論文  参考訳（メタデータ） (2020-04-16T08:10:41Z)
• Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences [107.0776836117313]
  STVGは、トリミングされていないビデオと宣言的/解釈的な文が与えられた場合、クエリされたオブジェクトの時間管をローカライズすることを目的としている。 既存の手法では、非効率なチューブ前世代と新しいオブジェクト関係モデリングの欠如により、STVGタスクに対処できない。 本稿では,この課題に対する宣言型時間グラフ推論ネットワーク(STGRN)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T19:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。