論文の概要: EffectLearner: World-Aware Object-Effect Reasoning for Real-World Video Object Removal
- arxiv url: http://arxiv.org/abs/2608.05565v1
- Date: Thu, 06 Aug 2026 03:34:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.816285
- Title: EffectLearner: World-Aware Object-Effect Reasoning for Real-World Video Object Removal
- Title（参考訳）: EffectLearner: リアルタイムビデオオブジェクト除去のための世界認識オブジェクトエフェクト推論
- Abstract要約: EffectLearnerは、エフェクトカテゴリと固定データ一般化から暗黙的にオブジェクト効果対応を学習するフレームワークである。
さらに、複雑なオブジェクト誘発効果に特化して設計されたデータセットであるEffectWorldを構築し、一般的な監視と複雑なデータを組み合わせたプログレッシブトレーニングカリキュラムを導入する。
- 参考スコア（独自算出の注目度）: 43.705438947753656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video object removal must eliminate not only the target object but also its induced effects while maintaining high-fidelity and spatiotemporally coherent restoration. Existing methods mainly learn object-effect correspondences implicitly from predefined effect categories and fixed data distributions, limiting their generalization to complex real-world scenes involving compositional effects, spatially detached or weakly correlated effects, long-tail physical phenomena, and dynamically evolving interactions. We propose EffectLearner, a semantic-reasoning-enhanced framework that combines a VLM-based Object-Effect Reasoner with a DiT-based Video Eraser. Guided by a structured effect-analysis prompt, the Reasoner performs cross-modal reasoning over a target-highlighted video and extracts compact effect-aware context, which guides the Video Eraser toward comprehensive object-effect removal. Motion-aware mask guidance and motion-consistency supervision further improve removal coverage and spatiotemporal stability under object motion and evolving scene dynamics. To fully exploit the framework in challenging real-world scenarios, we further construct EffectWorld, a paired video dataset specifically designed for complex object-induced effects, and introduce a progressive training curriculum that combines common supervision with complex-effect data. On the standard ROSE-Bench, EffectLearner outperforms existing baselines on most metrics and achieves clear advantages on both EffectWorld-Eval and the challenging EffectWorld-Wild, demonstrating its ability to deliver high-quality video object removal in complex real-world scenes.
- Abstract（参考訳）: ビデオオブジェクトの除去は、対象物だけでなく、高忠実度と時空間的コヒーレントな復元を維持しながら、その誘導効果も排除しなければならない。
既存の手法は主に、事前に定義された効果カテゴリと固定データ分布から暗黙的にオブジェクト効果対応を学習し、それらの一般化を合成効果、空間的または弱い相関効果、長い尾の物理現象、動的に変化する相互作用を含む複雑な現実世界のシーンに限定する。
本稿では、VLMベースのObject-Effect ReasonerとDiTベースのVideo Eraserを組み合わせた意味推論強化フレームワークであるEffectLearnerを提案する。
構造化エフェクト分析プロンプトにより、Reasonerは、対象のハイライトされたビデオに対して相互に推論を行い、コンパクトなエフェクト認識コンテキストを抽出し、ビデオエフェクトエフェクトを包括的オブジェクトエフェクト除去へ導く。
動きを意識したマスクガイダンスと運動整合性指導は、物体の動きと進化するシーンダイナミクスの下での除去範囲と時空間安定性をさらに改善する。
実世界のシナリオに挑戦する上で,このフレームワークをフル活用するために,複雑なオブジェクト誘発効果に特化して設計されたペアビデオデータセットであるEffectWorldを構築し,一般的な監視と複雑な効果データを組み合わせたプログレッシブトレーニングカリキュラムを導入する。
標準的なROSE-Benchでは、EffectLearnerは既存のベースラインをほとんどのメトリクスで上回り、EffectWorld-EvalとEffectWorld-Wildの両方に明確なアドバンテージをもたらし、複雑な現実世界のシーンで高品質なビデオオブジェクトの削除を実現する能力を示している。
関連論文リスト
- From Understanding to Erasing: Towards Complete and Stable Video Object Removal [8.035439287403983]
ビデオオブジェクトの削除は、ビデオからターゲットオブジェクトを排除し、欠落した領域を確実に完了し、時間的一貫性を維持することを目的としている。
全体コヒーレンスを損なうことなく、物体によって引き起こされる副作用を取り除くことは依然として困難である。
本稿では,2つの相補的観点からの消去の理解を紹介する。
論文 参考訳（メタデータ） (2026-04-02T06:50:39Z) - EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing [50.43992550991499]
ビデオオブジェクトの除去は、動的対象オブジェクトとその変形、影、反射などの視覚的効果をなくし、シームレスな背景を復元することを目的としている。
近年の拡散型ビデオ塗装法や物体除去法は、物体を除去するが、これらの効果を消し去ってコヒーレントな背景を合成するのに苦労することが多い。
多様なペアビデオを提供する大規模データセットであるVOR(Video Object removal)を紹介する。
本稿では,ビデオオブジェクト挿入を相互学習方式における逆補助タスクとして扱う効果を考慮したビデオオブジェクト削除手法であるEffectEraseを提案する。
論文 参考訳（メタデータ） (2026-03-19T17:59:22Z) - VFXMaster: Unlocking Dynamic Visual Effect Generation via In-Context Learning [67.44716618860544]
我々は、VFXビデオ生成のための最初の統合参照ベースのフレームワークであるVFXMasterを紹介する。
インコンテキスト学習タスクとしてエフェクト生成をリキャストし、参照ビデオからターゲットコンテンツへの多様なダイナミックエフェクトを再現する。
さらに,単一ユーザが提供するビデオから,強靭な見えざる効果に対する一般化能力を急速に向上させる,効率的なワンショット効果適応機構を提案する。
論文 参考訳（メタデータ） (2025-10-29T17:59:53Z) - ROSE: Remove Objects with Side Effects in Videos [47.196851721000655]
ROSEは、物体が環境に与える影響を研究するためのフレームワークであり、影、反射、光、透明度、鏡の5つの一般的なケースに分類される。
すべてのオブジェクト関連領域をローカライズするために、ビデオ全体を参照ベースの消去モデルに入力する。
副次的効果によって影響を受ける領域を明示的に予測するために、追加の監督が導入された。
論文 参考訳（メタデータ） (2025-08-26T03:18:31Z) - ObjectClear: Complete Object Removal via Object-Effect Attention [56.2893552300215]
我々は、オブジェクトとそれに関連する視覚的アーティファクトの両方の正確なマスクとともに、オブジェクト効果と不要なペア画像を提供するOBERという、オブジェクト・エフェクト除去のための新しいデータセットを紹介した。
本研究では,物体効果の注意機構を組み込んだ新しいフレームワーク ObjectClear を提案する。
実験では、ObjectClearが既存のメソッドよりも優れており、特に複雑なシナリオにおいて、オブジェクト・エフェクトの除去品質と背景の忠実さの改善を実現している。
論文 参考訳（メタデータ） (2025-05-28T17:51:17Z) - ObjectMover: Generative Object Movement with Video Prior [69.75281888309017]
本稿では,難易度の高いシーンでオブジェクトの動きを再現できる生成モデルであるObjectMoverを提案する。
このアプローチにより、我々のモデルは複雑な現実世界のシナリオに適応できることを示す。
本稿では,実世界の映像データを学習してモデル一般化を改善するマルチタスク学習戦略を提案する。
論文 参考訳（メタデータ） (2025-03-11T04:42:59Z) - OccludeNet: A Causal Journey into Mixed-View Actor-Centric Video Action Recognition under Occlusions [37.79525665359017]
我々はOccludeNetを構築した。OccludeNetは大規模に隠蔽されたビデオデータセットで、実シーンと合成シーンの両方を含んでいる。
分析の結果,シーン関連度が低く,部分的な身体視認性が高いと精度が低下することが明らかとなった。
本稿では,背景調整と反事実推論を併用した因果認識(Causal Action Recognition, CAR)手法を提案する。
論文 参考訳（メタデータ） (2024-11-24T06:10:05Z) - Omnimatte: Associating Objects and Their Effects in Video [100.66205249649131]
映像内のオブジェクトに関連するシーン効果は通常、コンピュータビジョンによって見過ごされる。
本研究では,映像におけるオブジェクトとその効果を自動的に関連付ける,この新しい問題を解決するための一歩を踏み出す。
私達のモデルは手動ラベルなしで自己監督された方法で入力ビデオでだけ訓練され、ジェネリックです---任意目的およびいろいろな効果のためのオムニマトを自動的に作り出します。
論文 参考訳（メタデータ） (2021-05-14T17:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。