論文の概要: BoxCtrl: 3D-Aware Visual Prompting for Geometric Image Editing

• arxiv url: http://arxiv.org/abs/2606.23270v1
• Date: Mon, 22 Jun 2026 12:49:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:55:10.501956
• Title: BoxCtrl: 3D-Aware Visual Prompting for Geometric Image Editing
• Title（参考訳）: BoxCtrl:幾何学的画像編集のための3D対応ビジュアルプロンプティング
• Authors: Feifei Wang, Shiyuan Yang, Xiaoyu Li, Jing Liao,
• Abstract要約: BoxCtrlは幾何学的画像編集のための3D対応ビジュアルプロンプトフレームワークである。 2段階のトレーニングパラダイムを導入します: 監視ファインチューニング(SFT)と強化学習(RL)。 大規模な実験により、BoxCtrlは翻訳、ローテーション、スケーリング、複合編集タスクで最先端のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 25.061151517875683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As instruction-based editing models and multimodal large language models advance, diverse image editing tasks have become feasible. However, achieving precise and consistent geometric image editing, such as translating, scaling, and rotating in 3D space, remains a major challenge. In this work, we introduce BoxCtrl, a 3D-aware visual prompting framework. Unlike text-only or coarse 2D-guided approaches, our method introduces informative RGB 3D bounding boxes projected onto 2D images as visual prompts. The three orthogonal faces of each box are painted with distinct RGB colors, simultaneously encoding position, size, and orientation to provide a compact, intuitive in-context visual example. The key to BoxCtrl's success lies in these well-designed bounding boxes, which decouple geometric control from appearance control. This enables the model to learn consistent correspondences between faces of the same color in the latent space, leading to a precise understanding of geometric intentions and accurate editing results. We introduce a two-stage training paradigm: Supervised Fine-Tuning (SFT) followed by Reinforcement Learning (RL). To address paired data scarcity, we construct a large-scale synthetic dataset for SFT, equipping the model with fundamental editing capabilities. To bridge the synthetic-to-real domain gap, we incorporate an online RL stage leveraging unpaired real-world data. Guided by a reward function evaluating geometric accuracy and visual fidelity, our SFT-RL strategy significantly enhances geometric precision while maintaining photorealistic quality. Extensive experiments demonstrate that BoxCtrl achieves state-of-the-art performance across translation, rotation, scaling, and composite editing tasks.
• Abstract（参考訳）: 命令ベースの編集モデルとマルチモーダルな大言語モデルが進むにつれ、多様な画像編集タスクが実現可能になった。 しかし、3D空間での翻訳、スケーリング、回転など、正確で一貫した幾何的画像編集を実現することは、依然として大きな課題である。 本研究では、3D対応ビジュアルプロンプトフレームワークであるBoxCtrlを紹介する。 テキストのみあるいは粗い2Dガイド方式とは異なり,本手法では2次元画像に投影された情報的RGB 3Dバウンディングボックスを視覚的プロンプトとして導入する。 各ボックスの直交する3つの顔は異なるRGB色で塗装され、同時に位置、サイズ、方向を符号化し、コンパクトで直感的なインコンテキストの視覚例を提供する。 BoxCtrlの成功の鍵は、幾何学的制御と外観制御を分離する、よく設計されたバウンディングボックスにある。 これにより、モデルは潜在空間における同じ色の顔間の一貫性のある対応を学習することができ、幾何学的意図と正確な編集結果の正確な理解につながる。 本稿では,2段階のトレーニングパラダイムであるSupervised Fine-Tuning(SFT)とReinforcement Learning(RL)を紹介する。 ペアデータ不足に対処するため,SFTのための大規模合成データセットを構築し,基本的な編集機能を備えたモデルを構築した。 合成領域と実領域のギャップを埋めるために、未ペアの実世界のデータを活用するオンラインRLステージを組み込む。 幾何学的精度と視覚的忠実度を評価する報奨関数によって導かれるSFT-RL戦略は,光写実的品質を維持しつつ,幾何的精度を著しく向上させる。 大規模な実験により、BoxCtrlは翻訳、ローテーション、スケーリング、複合編集タスクで最先端のパフォーマンスを達成している。

関連論文リスト

• Geometry-Guided Reinforcement Learning for Multi-view Consistent 3D Scene Editing [106.07976338405793]
  3次元編集における2次元拡散モデルの先行的活用は、有望なパラダイムとして現れている。 我々は3次元基礎モデルであるVGGTから得られた新たな報酬を用いて、強化学習によって駆動されるシングルパスフレームワークであるtextbfRL3DEditを提案する。 実験により、RL3DEditは安定したマルチビューの一貫性を実現し、高い効率で品質を編集する最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-03T16:31:10Z)
• PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing [51.56943889042673]
  PercHeadは、シングルイメージの3Dヘッド再構成とセマンティック3D編集のための方法である。 単一の入力画像からビュー一貫性を持つ3Dヘッドを再構成するための統一ベースモデルを開発する。 軽量でインタラクティブなGUIを通して、直感的で強力な3D編集機能を強調します。
  論文  参考訳（メタデータ） (2025-11-04T17:59:15Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
  単一画像の3次元操作を可能にする新しい画像編集手法を提案する。 本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。 提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
  論文  参考訳（メタデータ） (2024-03-18T06:18:59Z)
• GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing [38.948892064761914]
  GaussCtrlは、3D Gaussian Splatting(3DGS)によって再構成された3Dシーンを編集するテキスト駆動方式である。 私たちの重要な貢献は、複数ビューの一貫性のある編集であり、1つの画像を反復的に編集する代わりに、すべての画像を一緒に編集できる。
  論文  参考訳（メタデータ） (2024-03-13T17:35:28Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。