論文の概要: Real-VAS: a Real-World Video Amodal Segmentation Dataset
- arxiv url: http://arxiv.org/abs/2611.00430v1
- Date: Fri, 30 Oct 2026 22:28:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:32:07.803527
- Title: Real-VAS: a Real-World Video Amodal Segmentation Dataset
- Title(参考訳): Real-VAS: リアルタイムビデオアモーダルセグメンテーションデータセット
- Abstract要約: アモーダルオブジェクトセグメンテーションは、現実世界の複雑さと正確な基底真理アノテーションを組み合わせたデータセットが存在しないために、基本的に制限されている。
合成実像映像から構築した新しいデータセットであるReal Video Amodal(Real-VAS)を提示する。
- 参考スコア(独自算出の注目度): 5.9446475533229695
- License:
- Abstract: Amodal video object segmentation is fundamentally limited by the absence of datasets that combine real-world complexity with precise ground-truth annotations. To address this, we present Real Video Amodal Segmentation (Real-VAS), a new large-scale, zero-shot evaluation dataset built from composited real-image video. We introduce a novel data generation pipeline that enables the creation of programmatically consistent amodal ground truth for real-world footage, in which the object mask, occlusion boundary, and composited image are all derived from a single unoccluded source, without relying on human estimation or expensive 3D reconstruction. Our dataset is structured into two challenging scenarios: dynamic Occlusion, created by compositing two clips of moving objects, and a unique Container category featuring complex, physically constrained interactions. These container scenarios--On Surface Containment, Articulated Containment, and Mobile Containment--allow us to generate precise ground truth by simulating an object's motion based on its container's tracked transformation. As a result, Real-VAS provides a diverse and challenging benchmark for evaluating amodal segmentation models on realistic video with the precision of synthetic data. The dataset and our generation code will be made publicly available.
- Abstract(参考訳): アモーダルなビデオオブジェクトのセグメンテーションは、現実世界の複雑さと正確な接地真実のアノテーションを組み合わせたデータセットが存在しないため、基本的に制限されている。
これを解決するために,合成実像映像から構築した大規模ゼロショット評価データセットであるReal Video Amodal Segmentation (Real-VAS)を提案する。
オブジェクトマスク, 閉塞境界, 複合画像がすべて、人間の推定や高価な3D再構成に頼ることなく、単一の非閉塞音源から導出されるような、現実の映像に対して、プログラム的に一貫したアモーダルグラウンド真理を生成できる新しいデータ生成パイプラインを導入する。
私たちのデータセットは、2つの難しいシナリオで構成されています。動的オクルージョン(Dynamic Occlusion)は、動くオブジェクトの2つのクリップを合成することによって生成されるもので、複雑で物理的に制約されたインタラクションを特徴とする独自のコンテナカテゴリです。
これらのコンテナシナリオ、すなわち、Surface Containment、Articulated Containment、Mobile Containmentでは、コンテナの追跡された変換に基づいてオブジェクトの動きをシミュレートすることで、正確な基底真理を生成することができます。
その結果、Real-VASは、合成データの精度でリアルビデオ上のアモーダルセグメンテーションモデルを評価するための多様で挑戦的なベンチマークを提供する。
データセットと生成コードは公開されます。
関連論文リスト
- DriveCtrl: Conditioned Sim-to-Real Driving Video Generation [16.424889754682727]
DriveCtrlは、リアルな駆動ビデオ合成のための制御可能なsim-to-realビデオ生成フレームワークである。
シミュレーション映像をリアルな実世界のデータセットの視覚スタイルに合わせたリアルな運転映像に変換するスケーラブルなデータ生成パイプラインを提案する。
論文 参考訳(メタデータ) (2026-05-14T17:29:35Z) - Asset Harvester: Extracting 3D Assets from Autonomous Driving Logs for Simulation [63.01022057888141]
Asset Harvesterはイメージ・ツー・3Dモデルとエンドツーエンドのパイプラインで、実際の運転ログからスパース・イン・ザ・ワン・オブジェクトの観察を完全なシミュレーション可能なアセットに変換する。
SparseViewDiTは、限定角度ビューやその他の実世界のデータ課題に対処するように明示的に設計されている。
論文 参考訳(メタデータ) (2026-04-20T16:20:57Z) - SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations [88.8747004592363]
SceneScribe-1Mは新しい大規模多時間ビデオデータセットである。
そこには100万本のビデオが含まれており、それぞれに詳細なテキスト記述、正確なパラメータ、深度マップ、一貫性のある3Dポイントトラックなどが含まれている。
SceneScribe-1Mの汎用性と価値は、単眼深度推定、シーン再構成動的点追跡、テキスト・ビデオ合成などの生成タスク、カメラ制御の有無にかかわらず、幅広い下流タスクのベンチマークを確立することで示される。
論文 参考訳(メタデータ) (2026-04-09T08:59:33Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳(メタデータ) (2026-01-24T07:43:57Z) - InsertAnywhere: Bridging 4D Scene Geometry and Diffusion Models for Realistic Video Object Insertion [44.16061577550766]
InsertAnywhereは、幾何学的に一貫したオブジェクト配置と外観に忠実なビデオ合成を実現する新しいVOIフレームワークである。
本手法は,シーン形状を再構成する4次元マスク生成モジュールから始める。
我々は拡散に基づく映像生成モデルを拡張し、挿入された物体とその周囲の局所的変動を共同で合成する。
論文 参考訳(メタデータ) (2025-12-19T12:14:36Z) - ObjectMover: Generative Object Movement with Video Prior [69.75281888309017]
本稿では,難易度の高いシーンでオブジェクトの動きを再現できる生成モデルであるObjectMoverを提案する。
このアプローチにより、我々のモデルは複雑な現実世界のシナリオに適応できることを示す。
本稿では,実世界の映像データを学習してモデル一般化を改善するマルチタスク学習戦略を提案する。
論文 参考訳(メタデータ) (2025-03-11T04:42:59Z) - Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。
室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。
我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
論文 参考訳(メタデータ) (2024-12-02T11:33:55Z) - Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。
実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。
結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
論文 参考訳(メタデータ) (2024-03-22T17:49:11Z) - RELATE: Physically Plausible Multi-Object Scene Synthesis Using
Structured Latent Spaces [77.07767833443256]
RELATEは、複数の対話オブジェクトの物理的に可視なシーンとビデオを生成することを学習するモデルである。
オブジェクト中心生成モデリングにおける最先端の手法とは対照的に、RELATEは自然に動的なシーンに拡張し、高い視覚的忠実度のビデオを生成する。
論文 参考訳(メタデータ) (2020-07-02T17:27:27Z) - Learning to simulate complex scenes [18.51564016785853]
本稿では,意味的セグメンテーションの文脈におけるコンテンツ適応について考察する。
本稿では、属性値の最適化と、実世界のデータと類似したコンテンツのトレーニングセットを得るために、スケーラブルな離散化・緩和(SDR)アプローチを提案する。
実験により,本システムは合理的かつ有用なシーンを生成でき,そこから有望な実世界のセグメンテーション精度を得ることができた。
論文 参考訳(メタデータ) (2020-06-25T17:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。