論文の概要: FlowDrag: 3D-aware Drag-based Image Editing with Mesh-guided Deformation Vector Flow Fields
- arxiv url: http://arxiv.org/abs/2507.08285v1
- Date: Fri, 11 Jul 2025 03:18:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-14 18:03:54.232801
- Title: FlowDrag: 3D-aware Drag-based Image Editing with Mesh-guided Deformation Vector Flow Fields
- Title（参考訳）: FlowDrag:メッシュ誘導変形ベクトル場を用いた3次元ドラッグベース画像編集
- Authors: Gwanhyeong Koo, Sunjae Yoon, Younghwan Lee, Ji Woo Hong, Chang D. Yoo,
- Abstract要約: 幾何情報を利用してより正確でコヒーレントな変換を行うFlowDragを提案する。
提案手法は,ユーザ定義のドラッグポイントに基づくメッシュ変形を誘導するエネルギー関数を用いて,画像から3次元メッシュを構築する。
得られたメッシュの変位は2Dに投影され、UNetデノナイジングプロセスに組み込まれ、正確なハンド・ツー・ターゲットのポイントアライメントを可能にする。
- 参考スコア（独自算出の注目度）: 20.793887576117527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Drag-based editing allows precise object manipulation through point-based control, offering user convenience. However, current methods often suffer from a geometric inconsistency problem by focusing exclusively on matching user-defined points, neglecting the broader geometry and leading to artifacts or unstable edits. We propose FlowDrag, which leverages geometric information for more accurate and coherent transformations. Our approach constructs a 3D mesh from the image, using an energy function to guide mesh deformation based on user-defined drag points. The resulting mesh displacements are projected into 2D and incorporated into a UNet denoising process, enabling precise handle-to-target point alignment while preserving structural integrity. Additionally, existing drag-editing benchmarks provide no ground truth, making it difficult to assess how accurately the edits match the intended transformations. To address this, we present VFD (VidFrameDrag) benchmark dataset, which provides ground-truth frames using consecutive shots in a video dataset. FlowDrag outperforms existing drag-based editing methods on both VFD Bench and DragBench.
- Abstract（参考訳）: ドラッグベースの編集は、ポイントベースの制御による正確なオブジェクト操作を可能にし、ユーザの利便性を提供する。
しかし、現在の手法は、ユーザ定義ポイントのマッチングに集中し、より広い幾何学を無視し、アーティファクトや不安定な編集につながることで、幾何学的不整合に悩まされることが多い。
幾何情報を利用してより正確でコヒーレントな変換を行うFlowDragを提案する。
提案手法は,ユーザ定義のドラッグポイントに基づくメッシュ変形を誘導するエネルギー関数を用いて,画像から3次元メッシュを構築する。
得られたメッシュの変位は2Dに投影され、UNetデノナイジングプロセスに組み込まれ、構造的整合性を維持しながら正確なハンド・ツー・ターゲットポイントアライメントを可能にする。
さらに、既存のドラッグ編集ベンチマークは基礎的な真実を示さず、編集が意図した変換とどの程度の精度で一致しているかを評価することは困難である。
そこで我々はVFD(VidFrameDrag)ベンチマークデータセットを提案する。
FlowDragは、VFD BenchとDragBenchの両方で既存のドラッグベースの編集方法より優れている。
関連論文リスト
- Training-free Geometric Image Editing on Diffusion Models [53.38549950608886]
画像内の物体が再配置、再配向、あるいは再形成されるような幾何学的画像編集の課題に取り組む。
本稿では、オブジェクト変換、ソース領域のインペイント、ターゲット領域の洗練を分離する分離パイプラインを提案する。
塗装と精錬は、トレーニングフリーの拡散アプローチであるFreeFineを使って実装されている。
論文 参考訳（メタデータ） (2025-07-31T07:36:00Z) - Shape-for-Motion: Precise and Consistent Video Editing with 3D Proxy [36.08715662927022]
本稿では,精密で一貫したビデオ編集のための3Dプロキシを組み込んだ新しいフレームワークであるShape-for-Motionを紹介する。
我々のフレームワークは、ポーズ編集、回転、スケーリング、翻訳、テクスチャ修正、オブジェクト合成など、ビデオフレーム間の精密で物理的に一貫性のある操作をサポートしています。
論文 参考訳（メタデータ） (2025-06-27T17:59:01Z) - SphereDrag: Spherical Geometry-Aware Panoramic Image Editing [50.0866506514989]
SphereDragは,球面形状の知識を利用した新しいパノラマ編集フレームワークである。
具体的には、適応的再射(AR)は不連続性に対処するために適応的な球面回転を使い、GCTA(Great-circle trajectory adjust)は運動軌跡をより正確に追跡する。
また、パノラマ編集ベンチマークであるPanoBenchを構築し、複数のオブジェクトと多様なスタイルを含む複雑な編集タスクを含む、標準化された評価フレームワークを提供する。
論文 参考訳（メタデータ） (2025-06-13T15:13:09Z) - ARAP-GS: Drag-driven As-Rigid-As-Possible 3D Gaussian Splatting Editing with Diffusion Prior [7.218737495375119]
ARAP-GSは、As-id-As-Rig(ARAP)変形に基づくドラッグ駆動の3DGS編集フレームワークである。
3次元ガウスにARAP変形を直接適用し、柔軟でドラッグ駆動の幾何変換を可能にする。
我々の手法は非常に効率的で、1台の3090 GPUでシーンを編集するのに10分から20分しかかからない。
論文 参考訳（メタデータ） (2025-04-17T09:37:11Z) - MeshPad: Interactive Sketch-Conditioned Artist-Designed Mesh Generation and Editing [64.84885028248395]
MeshPadは、スケッチ入力から3Dメッシュを生成するジェネレーティブなアプローチである。
我々は、メッシュの領域の"削除"に編集を分解し、新しいメッシュ幾何学の"追加"に続き、一貫した編集を可能にすることに重点を置いている。
提案手法は,メッシュ三角形の追加と削除のために,大規模なTransformerモデルを利用した三角形列に基づくメッシュ表現に基づいている。
論文 参考訳（メタデータ） (2025-03-03T11:27:44Z) - Drag Your Gaussian: Effective Drag-Based Editing with Score Distillation for 3D Gaussian Splatting [55.14822004410817]
DYGは3次元ガウススプラッティングのための効果的な3次元ドラッグベース編集法である。
3次元マスクと一対の制御点を入力して編集範囲を正確に制御できる。
DYGは暗黙三面体表現の強さを統合し、編集結果の幾何学的足場を確立する。
論文 参考訳（メタデータ） (2025-01-30T18:51:54Z) - DragScene: Interactive 3D Scene Editing with Single-view Drag Instructions [9.312577767600139]
3D編集は、様々な指示に基づいてシーンを編集する際、顕著な能力を示した。
既存の方法は直感的で局所的な編集に苦労する。
DragSceneは、ドラッグスタイルの編集と多様な3D表現を統合するフレームワークである。
論文 参考訳（メタデータ） (2024-12-18T07:02:01Z) - DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。
我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
論文 参考訳（メタデータ） (2024-05-09T14:34:05Z) - View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。
一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
論文 参考訳（メタデータ） (2024-03-18T15:22:09Z) - DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors [10.355568895429588]
ダイレクトメッシュの編集と変形は、幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。
正規化器は、オブジェクトのグローバルなコンテキストとセマンティクスを意識していない。
我々の変形を制御して,グローバルな文脈を意識した現実的な形状の変形を生成できることが示される。
論文 参考訳（メタデータ） (2023-10-06T19:55:40Z) - FreeDrag: Feature Dragging for Reliable Point-based Image Editing [16.833998026980087]
我々は、ポイントトラッキングの負担を軽減すべく、FreeDragという機能ドラッグ手法を提案する。
FreeDragには、アダプティブ更新によるテンプレート機能と、バックトラックによるライン検索という、2つの重要な設計が含まれている。
提案手法は既存の手法よりも優れており,様々な複雑なシナリオにおいても信頼性の高い点ベースの編集が可能である。
論文 参考訳（メタデータ） (2023-07-10T16:37:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。