論文の概要: Deconfounded Video Moment Retrieval with Causal Intervention
- arxiv url: http://arxiv.org/abs/2106.01534v1
- Date: Thu, 3 Jun 2021 01:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-05 02:51:49.399856
- Title: Deconfounded Video Moment Retrieval with Causal Intervention
- Title（参考訳）: 因果干渉によるビデオモーメント検索の廃止
- Authors: Xun Yang, Fuli Feng, Wei Ji, Meng Wang, Tat-Seng Chua
- Abstract要約: 本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。
既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。
本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 80.90604360072831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We tackle the task of video moment retrieval (VMR), which aims to localize a
specific moment in a video according to a textual query. Existing methods
primarily model the matching relationship between query and moment by complex
cross-modal interactions. Despite their effectiveness, current models mostly
exploit dataset biases while ignoring the video content, thus leading to poor
generalizability. We argue that the issue is caused by the hidden confounder in
VMR, {i.e., temporal location of moments}, that spuriously correlates the model
input and prediction. How to design robust matching models against the temporal
location biases is crucial but, as far as we know, has not been studied yet for
VMR.
To fill the research gap, we propose a causality-inspired VMR framework that
builds structural causal model to capture the true effect of query and video
content on the prediction. Specifically, we develop a Deconfounded Cross-modal
Matching (DCM) method to remove the confounding effects of moment location. It
first disentangles moment representation to infer the core feature of visual
content, and then applies causal intervention on the disentangled multimodal
input based on backdoor adjustment, which forces the model to fairly
incorporate each possible location of the target into consideration. Extensive
experiments clearly show that our approach can achieve significant improvement
over the state-of-the-art methods in terms of both accuracy and generalization
(Codes:
\color{blue}{\url{https://github.com/Xun-Yang/Causal_Video_Moment_Retrieval}}
- Abstract（参考訳）: ビデオモーメント検索(vmr)は,映像中の特定のモーメントをテキストクエリに従ってローカライズすることを目的としたタスクである。
既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。
その効果にもかかわらず、現在のモデルは、主にビデオコンテンツを無視しながらデータセットバイアスを利用するため、汎用性が低下する。
この問題は、VMRの隠れた共同設立者、すなわちモーメントの時間的位置によって引き起こされ、モデル入力と予測が急激に相関していると主張している。
時間的位置バイアスに対して頑健なマッチングモデルを設計する方法は重要であるが、我々が知る限り、VMRはまだ研究されていない。
本研究のギャップを埋めるために,構造因果モデルを構築し,クエリとビデオコンテンツが予測に与える影響を捉える因果性に着想を得たVMRフレームワークを提案する。
具体的には,モーダルマッチング (DCM) 手法を開発し,モーメント位置の共起効果を除去する。
まず、視覚コンテンツの中心的特徴を推測するためにモーメント表現をアンタングル化し、その後、バックドア調整に基づくアンタングルされたマルチモーダル入力に因果介入を適用し、モデルにターゲットの可能な各位置を適切に考慮するよう強制する。
広汎な実験により、我々の手法は精度と一般化の両面で最先端の手法よりも大幅に改善できることが明らかとなった(コード: \color{blue}{\url{https://github.com/Xun-Yang/Causal_Video_Retrieval}})。
関連論文リスト
- Does SpatioTemporal information benefit Two video summarization benchmarks? [2.8558008379151882]
我々は、ビデオ要約のタスクに類似したスプリアス関係が影響を及ぼすかどうかを問う。
まず、時間的に不変なモデルでベースラインを推定し、そのようなモデルがベンチマークデータセット上でどれだけうまくランクされているかを確認する。
次に、ビデオの時間的順序を乱して、既存の最先端モデルに与える影響を調査します。
論文 参考訳（メタデータ） (2024-10-04T11:20:04Z) - Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal
Intervention [72.12974259966592]
トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。
Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-09-17T15:58:27Z) - Counterfactual Cross-modality Reasoning for Weakly Supervised Video
Moment Localization [67.88493779080882]
ビデオモーメントのローカライゼーションは、自然言語クエリに従って、未トリミングされたビデオのターゲットセグメントを取得することを目的としている。
最近の研究は、マスキングクエリの再構築によって引き起こされるモダリティの類似性とは対照的である。
提案手法は, 対実的相互モダリティ推論法である。
論文 参考訳（メタデータ） (2023-08-10T15:45:45Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - MomentDiff: Generative Video Moment Retrieval from Random to Real [71.40038773943638]
私たちは、MomentDiffという拡散に基づく生成フレームワークを提供しています。
MomentDiffは、ランダムなブラウジングから段階的なローカライゼーションまで、典型的な人間の検索プロセスをシミュレートする。
MomentDiffは3つの公開ベンチマークで最先端の手法を一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2023-07-06T09:12:13Z) - Multi-Contextual Predictions with Vision Transformer for Video Anomaly
Detection [22.098399083491937]
ビデオの時間的文脈を理解することは、異常検出において重要な役割を果たす。
我々は3つの異なる文脈予測ストリームを持つトランスモデルを設計する。
連続する正常フレームの欠落フレームの予測を学習することにより、ビデオ内の様々な正常パターンを効果的に学習することができる。
論文 参考訳（メタデータ） (2022-06-17T05:54:31Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - Learning Sample Importance for Cross-Scenario Video Temporal Grounding [30.82619216537177]
本稿では,時間的接地作業に特有の表面バイアスについて検討する。
そこで本研究では,Debiased Temporal Language Localizer (DebiasTLL) と呼ばれる新しい手法を提案する。
我々は、列車/テストデータが均一にソースされるクロスセサリオ時間的グラウンドリングにおいて、提案モデルを評価する。
論文 参考訳（メタデータ） (2022-01-08T15:41:38Z) - Interventional Video Grounding with Dual Contrastive Learning [16.0734337895897]
ビデオグラウンドティングは、与えられたテキストクエリのために、未編集のビデオから瞬間をローカライズすることを目的としている。
本稿では、因果推論の観点から新しいパラダイムを提案し、モデルとデータの背後にある因果関係を明らかにする。
また、テキストとビデオの整合性を改善するために、二重のコントラスト学習アプローチを導入しています。
論文 参考訳（メタデータ） (2021-06-21T12:11:28Z) - Frame-wise Cross-modal Matching for Video Moment Retrieval [32.68921139236391]
ビデオモーメント検索は、与えられた言語クエリのためにビデオ中の瞬間を検索するターゲットである。
本課題は,1)未編集ビデオにおける関連モーメントのローカライズの必要性,2)テキストクエリとビデオコンテンツ間のセマンティックなギャップを埋めることである。
本稿では,対話モデルに基づいて時間境界を予測できる注意的相互関連マッチングモデルを提案する。
論文 参考訳（メタデータ） (2020-09-22T10:25:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。