Controllable Multi-Object Insertion for Detection Data Augmentation
Abstractの概要
本論文では、厳密なカテゴリ・個数の忠実度、アノテーション整合性、および元コンテンツの保持を伴う物体検出データセット拡張に向けた、制御可能な複数物体挿入を研究しています。著者らは2段階フレームワークであるSceneP2Fを提案しており、まずScenePlanがシーンに適合するクラスラベル付きバウンディングボックスを生成し、次にSceneAlign-Fillが計画された位置に要求された物体を描画します。ScenePlanはシーンのコンテキストと妥当な配置領域の制約下でインスタンスを共同予測し、SceneAlign-Fillは幾何およびスタイル条件付け、ボックストークン領域アテンション、アノテーション領域重み付け目的関数を活用して物体を合成し、意図しない背景の改変を最小限に抑えます。UAVDT、VisDrone、BDD100Kでの実験により要求忠実度とシーン保持が評価され、希少クラス検出に対する下流データ拡張の利点が実証されています。
新規性
主な新規性は、個数およびカテゴリを制御した挿入を実現するために、明示的なシーン条件付き複数インスタンスレイアウト計画と、レイアウトに整合した生成的描画を2段階で結合した点にあります。主な技術的設計として、ScenePlanにおけるインスタンスごとのクエリ中心拡散と独立したサイズ推定器の結合、ならびにSceneAlign-Fillにおけるボックスクラス誘導領域アテンションとアノテーション領域重み付けフローマッチング目的関数が挙げられます。
成果
SceneP2FはUAVDT、VisDrone、BDD100Kのすべてにおいて最も低い要求忠実度エラーを達成し、UAVDT（0.817対2.744）およびBDD100K（1.924対5.523）のmTCEでベースラインを上回りました。また、3つのベンチマークすべてで最高のDINO類似度およびCLIP-Iスコアを達成し、領域外PSNRも改善しました。さらに、UAVDTの学習にSceneP2Fで生成したサンプルを追加することで希少クラスの検出性能が向上し、バスのAP50が22.9から31.0へ、トラックのAP50が7.2から12.2へと向上しました。
論文の注目点
- SceneP2Fは複数物体の挿入を、シーン認識バウンディングボックスレイアウト計画（ScenePlan）とアノテーション整合画像描画（SceneAlign-Fill）の2段階に分解する。
- UAVDT、VisDrone、BDD100Kベンチマークにおいて、本手法は汎用画像編集モデルや既存の挿入ベースラインと比較して、優れた要求忠実度（mTCE/mCCE）、視覚的一貫性、および領域外保持性を示した。
- SceneP2Fを対象を絞った希少カテゴリの拡張に適用することで、UAVDTにおけるロングテールクラスの下流YOLO11-L検出性能が向上した。