論文の概要: Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins

• arxiv url: http://arxiv.org/abs/2606.17298v1
• Date: Mon, 15 Jun 2026 21:06:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.146522
• Title: Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins
• Title（参考訳）: アクション駆動型ディジタル双対による室内クリップ操作のためのテキスト・ビデオ検索
• Authors: Yiqing Shen, Hao Ding, Mathias Unberath,
• Abstract要約: 本稿では,クリップをアクション駆動型デジタルツイン(ActDT)に変換するテキスト・ビデオ検索手法OR3を提案する。 ロボット膝手術の386クリップに対して,4つの推論カテゴリに276の暗黙クエリを持つMM-ORのベンチマークを構築した。 OR3は57.6 R@1と77.3 R@5を達成し、最強のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 10.60845088912767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-video retrieval in operating rooms (OR) is an enabling technology for OR safety, as it allows stakeholders to retrieve and inspect recordings of specific events. However, because the most safety-critical events may not follow the common structure, to unlock its full potential text-to-video retrieval must be able to handle implicit queries that require reasoning to identify the right video (e.g., the step right before clipping). However, existing methods rely on global embeddings that cannot reason over such queries. We propose OR3, a text-to-video retrieval method that converts clips into action-driven digital twins (ActDTs), grouping concurrent subject-action-object triplets under non-overlapping temporal intervals. Moreover, rather than cross-modal matching through paired encoders, OR3 performs imagination-based retrieval where an LLM generates hypothetical ActDTs from queries. This enables intra-modal matching via a single encoder trained with ActDT-tailored hard negatives. Finally, evidence-grounded refinement revises imagined ActDTs based on discrepancies with top candidates to capture procedure-specific patterns. We construct a benchmark from MM-OR with 276 implicit queries across four reasoning categories over 386 clips from robotic knee procedures. OR3 achieves 57.6 R@1 and 77.3 R@5, outperforming the strongest baseline. These results demonstrate that OR3 enables fine-grained discrimination between visually similar OR video clips through temporal action reasoning.
• Abstract（参考訳）: 操作室(OR)におけるテキスト・ツー・ビデオ検索は、ステークホルダーが特定のイベントの記録を検索して検査できるので、OR安全のための技術である。 しかし、最も安全なクリティカルなイベントは共通の構造に従わない可能性があるため、その潜在的なテキスト・ビデオ検索を完全にアンロックするには、正しいビデオを特定するための推論を必要とする暗黙のクエリ(例えば、クリップする直前のステップ)を扱う必要がある。 しかし、既存の手法はそのようなクエリを推論できないグローバルな埋め込みに依存している。 本稿では,クリップをアクション駆動型デジタルツイン(ActDT)に変換するテキスト対ビデオ検索手法OR3を提案する。 さらに、ペアエンコーダによるクロスモーダルマッチングではなく、OR3は、LLMがクエリから仮説ActDTを生成するような想像力に基づく検索を行う。 これにより、 ActDT-tailored hard negatives でトレーニングされた単一のエンコーダによるモダル内マッチングが可能になる。 最後に、エビデンスを基盤とした改善は、プロシージャ固有のパターンをキャプチャするためのトップ候補との相違に基づいて、ActDTの想像を改める。 ロボット膝手術の386クリップに対して,4つの推論カテゴリに276の暗黙クエリを持つMM-ORのベンチマークを構築した。 OR3は57.6 R@1と77.3 R@5を達成し、最強のベースラインを上回っている。 これらの結果から、OR3は時間的行動推論により、視覚的に類似したORビデオクリップ間のきめ細かい識別を可能にすることが示された。

関連論文リスト

• MAVIS: Multi-Agent Video Retrieval via Structured Video Understanding [11.308633179211348]
  textbfMAVISは、検索をブルートフォース検索ではなく協調推論として再考する、新しいマルチエージェントフレームワークである。 検索中、プランナーは複雑なユーザ意図をアトミックなサブタスクに分解し、個別に候補を指名するために特別エージェントを派遣する。 MSR-VTT、MSVD、ActivityNetの実験は、MAVISがタスク固有の微調整なしで競争性能を発揮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T15:36:15Z)
• Driving Video Retrieval for Complex Queries with Structured Grounding [6.16173133327134]
  STRIVE-Dはビデオ駆動のためのデータキャリブレーションされた検索フレームワークである。 クエリルールの信頼性を推定するために、弱いラベル付きドメイン内ビデオを使用する。 最先端の手法に比べて、トップ1の精度が最大84%向上している。
  論文  参考訳（メタデータ） (2026-06-08T07:00:33Z)
• R^3: Composed Video Retrieval via Reasoning-Guided Recalling and Re-ranking [73.0537447183962]
  本稿では、Reasoning-guided Recalling and Re rankを中心に構築されたゼロショット合成ビデオ検索パイプラインを提案する。 モデルは、編集を適用した後、期待されるターゲットビデオを記述する推論トレースを生成する。 この課題に対処する上で,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2026-05-31T09:20:53Z)
• Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language [60.91064560080974]
  本稿では,クエリ関連クリップをトリムするスポットVMRを提案する。 提案するSpotVMRは,最新のVMR手法の効率性を実現するプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2026-05-28T11:42:28Z)
• Video-BrowseComp: Benchmarking Agentic Video Research on Open Web [64.53060049124961]
  Video-BrowseCompは、オープンウェブのエージェントによるビデオ推論に適した210の質問からなるベンチマークである。 これは時間的視覚的証拠に必須に依存しており、回答はテキスト検索のみでは導き出せないことを保証している。 初のオープンWebビデオ調査ベンチマークとして、Video-BrowseCompは、受動的知覚を越えて、プロアクティブなビデオ推論へと分野を前進させた。
  論文  参考訳（メタデータ） (2025-12-28T19:08:27Z)
• Towards Video Anomaly Retrieval from Video Anomaly Detection: New Benchmarks and Model [70.97446870672069]
  ビデオ異常検出(VAD)はその潜在的な応用により注目されている。 Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。 一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-07-24T06:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。