論文の概要: Reasoning Text-to-Video Retrieval via Digital Twin Video Representations and Large Language Models

• arxiv url: http://arxiv.org/abs/2511.12371v1
• Date: Sat, 15 Nov 2025 22:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.99843
• Title: Reasoning Text-to-Video Retrieval via Digital Twin Video Representations and Large Language Models
• Title（参考訳）: デジタル双対ビデオ表現と大規模言語モデルによるテキスト・ビデオ検索
• Abstract要約: 本稿では,従来の検索を推論による暗黙的なクエリ処理に拡張するパラダイムである推論テキスト・ビデオ検索を紹介する。 視覚言語モデルを直接依存するのではなく,映像コンテンツをデジタルツインとして表現することを提案する。 我々は、手動で135本の動画と1000本の動画のより難しいバージョンで暗黙的なクエリを作成した447のベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 8.053559085313443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of text-to-video retrieval is to search large databases for relevant videos based on text queries. Existing methods have progressed to handling explicit queries where the visual content of interest is described explicitly; however, they fail with implicit queries where identifying videos relevant to the query requires reasoning. We introduce reasoning text-to-video retrieval, a paradigm that extends traditional retrieval to process implicit queries through reasoning while providing object-level grounding masks that identify which entities satisfy the query conditions. Instead of relying on vision-language models directly, we propose representing video content as digital twins, i.e., structured scene representations that decompose salient objects through specialist vision models. This approach is beneficial because it enables large language models to reason directly over long-horizon video content without visual token compression. Specifically, our two-stage framework first performs compositional alignment between decomposed sub-queries and digital twin representations for candidate identification, then applies large language model-based reasoning with just-in-time refinement that invokes additional specialist models to address information gaps. We construct a benchmark of 447 manually created implicit queries with 135 videos (ReasonT2VBench-135) and another more challenging version of 1000 videos (ReasonT2VBench-1000). Our method achieves 81.2% R@1 on ReasonT2VBench-135, outperforming the strongest baseline by greater than 50 percentage points, and maintains 81.7% R@1 on the extended configuration while establishing state-of-the-art results in three conventional benchmarks (MSR-VTT, MSVD, and VATEX).
• Abstract（参考訳）: テキスト・ツー・ビデオ検索の目標は、テキスト・クエリーに基づいて、関連ビデオの巨大なデータベースを検索することである。 既存の手法では、興味のある視覚的内容が明示的に記述された明示的なクエリを扱うようになったが、クエリに関連するビデオを特定するには推論が必要である。 提案手法では,従来の検索を拡張して,推論を通じて暗黙的なクエリを処理するとともに,どのエンティティがクエリ条件を満たすのかを識別するオブジェクトレベルのグラウンドマスクを提供する。 視覚言語モデルに直接依存するのではなく、映像コンテンツをデジタル双生児として表現すること、すなわち、専門的な視覚モデルを通して有能な物体を分解する構成されたシーン表現を提案する。 大規模な言語モデルでは、視覚的トークン圧縮を使わずに、長い水平ビデオコンテンツを直接推論できるため、このアプローチは有益である。 具体的には、まず分割されたサブクエリとデジタルツイン表現の合成アライメントを行い、次にジャスト・イン・タイム・リファインメントによる大規模言語モデルに基づく推論を適用し、情報ギャップに対処する。 135ビデオ(ReasonT2VBench-135)と1000ビデオ(ReasonT2VBench-1000)のより難しいバージョン(ReasonT2VBench-1000)を手動で作成した447のベンチマークを構築した。 提案手法は,ReasonT2VBench-135上で81.2%のR@1を達成し,最強のベースラインを50ポイント以上上回り,拡張構成では81.7%のR@1を維持しながら,従来の3つのベンチマーク(MSR-VTT,MSVD,VATEX)で最新結果を確立した。

関連論文リスト

• Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios [61.926801508808616]
  本稿では,ビデオ理解における指示に従うためのベンチマークであるVideo-IFBenchを紹介する。 単一タスク,マルチタスク,選択,ネスト命令を含む4つのテンプレートを持つ命令分類法を開発した。 我々は,MLLM,プログラム処理,人体検証を組み合わせた半自動データ構築パイプラインを構築し,1.5Kのサンプルを得た。
  論文  参考訳（メタデータ） (2026-08-26T08:35:42Z)
• VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement [31.30208652334818]
  VideoSearch-R1は、ビデオ検索エンジンとのマルチターンインタラクションによる反復的なビデオ検索と推論のためのエージェントフレームワークである。 VideoSearch-R1は、VCMR(Video Moment Retrieval)上の3つのデータセットにわたる最先端のパフォーマンスを実現する
  論文  参考訳（メタデータ） (2026-07-01T04:59:24Z)
• Understanding the Performance Plateau in Text-to-Video Retrieval: A Comprehensive Empirical and Linguistic Analysis [5.6902579988042135]
  広く使われている3つのデータセットを対象とした14の最先端検索手法を評価した。 我々は,長さ,明瞭度,意味カテゴリー,アクション対シーンバランスなどのキャプション特性を分析した。
  論文  参考訳（メタデータ） (2026-03-07T12:28:35Z)
• Video-BrowseComp: Benchmarking Agentic Video Research on Open Web [64.53060049124961]
  Video-BrowseCompは、オープンウェブのエージェントによるビデオ推論に適した210の質問からなるベンチマークである。 これは時間的視覚的証拠に必須に依存しており、回答はテキスト検索のみでは導き出せないことを保証している。 初のオープンWebビデオ調査ベンチマークとして、Video-BrowseCompは、受動的知覚を越えて、プロアクティブなビデオ推論へと分野を前進させた。
  論文  参考訳（メタデータ） (2025-12-28T19:08:27Z)
• Text-Driven Reasoning Video Editing via Reinforcement Learning on Digital Twin Representations [8.479321655643195]
  ビデオ編集モデルでは,編集対象を推測するマルチホップ推論によって暗黙的なクエリを解釈しなければならない。 RIVERは、空間的関係、時間的軌跡、意味的属性を保存したビデオコンテンツのデジタル双対表現を通じて生成から推論を分離する。 RIVERトレーニングは、推論精度と生成品質を評価する報酬付き強化学習を使用する。
  論文  参考訳（メタデータ） (2025-11-18T03:37:19Z)
• Beyond Simple Edits: Composed Video Retrieval with Dense Modifications [96.46069692338645]
  多様なビデオセグメントにまたがる細粒度および構成されたアクションをキャプチャする新しいデータセットを提案する。 Dense-WebVid-CoVRは、1.6万のサンプルからできており、修正テキストは既存のものより約7倍多い。 我々は,Cross-Attention (CA) 融合により視覚情報とテキスト情報を統合した新しいモデルを開発した。
  論文  参考訳（メタデータ） (2025-08-19T17:59:39Z)
• REVEAL: Relation-based Video Representation Learning for Video-Question-Answering [14.867263291053968]
  本稿では,リレーションに基づくrEpresentAtion Learning(REVEAL)を提案する。 バイテンポラルなシーングラフにインスパイアされたビデオシーケンスは、言語埋め込みを通して、時間とともに(サブジェクト・プレディケート・オブジェクト)の形で、関係三重項の集合としてエンコードする。 提案手法を,NeXT-QA,Intent-QA,STAR,VLEP,TVQAの5つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2025-04-07T19:54:04Z)
• MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval [57.891157692501345]
  $textbfMultiVENT 2.0$は、大規模かつ多言語なイベント中心のビデオ検索ベンチマークである。 218,000以上のニュースビデオと、特定の世界イベントを対象とした3,906のクエリが提供されている。 予備的な結果は、最先端のビジョン言語モデルは、この課題にかなり苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-15T13:56:34Z)
• Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
  テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。 本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。 本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Video Referring Expression Comprehension via Transformer with Content-conditioned Query [68.06199031102526]
  ビデオ参照表現(REC)は、検索された自然言語に基づいて対象物をビデオにローカライズすることを目的としている。 ビデオRECの最近の改良は、学習可能なクエリを持つTransformerベースの手法を用いてなされている。
  論文  参考訳（メタデータ） (2023-10-25T06:38:42Z)
• Query-aware Long Video Localization and Relation Discrimination for Deep Video Understanding [15.697251303126874]
  Deep Video Understanding (DVU) Challengeは、マルチモーダル抽出、融合、分析の境界を推し進めることを目的としている。 本稿では,画像言語事前学習モデルを利用して,長時間の動画のローカライゼーションと関係の識別を行うクエリアウェア手法を提案する。 本手法は,映画レベルの問合せの2つのグループにおいて,第1位と第4位を達成した。
  論文  参考訳（メタデータ） (2023-10-19T13:26:02Z)
• Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos [63.94898634140878]
  ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。 本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。 本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
  論文  参考訳（メタデータ） (2020-08-06T04:09:03Z)
• Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval [98.62404433761432]
  インターネット上のユーザ生成ビデオの急速な増加により、テキストベースのビデオ検索システムの必要性が高まっている。 従来の手法は主に単純なクエリによる検索における概念に基づくパラダイムを好んでいる。 木を増設したクロスモーダルを提案する。 クエリの言語構造とビデオの時間表現を共同で学習する手法。
  論文  参考訳（メタデータ） (2020-07-06T02:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。