論文の概要: StableDrag: Stable Dragging for Point-based Image Editing

• arxiv url: http://arxiv.org/abs/2403.04437v1
• Date: Thu, 7 Mar 2024 12:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 14:14:48.838921
• Title: StableDrag: Stable Dragging for Point-based Image Editing
• Title（参考訳）: StableDrag: ポイントベースのイメージ編集のための安定したドラッグング
• Authors: Yutao Cui, Xiaotong Zhao, Guozhen Zhang, Shengming Cao, Kai Ma and Limin Wang
• Abstract要約: 点ベース画像編集はDragGANの出現以来注目されている。 近年、DragDiffusionは、このドラッグング技術を拡散モデルに適用することで、生成品質をさらに推し進めている。 我々は,安定かつ高精度なドラッグベース編集フレームワークであるStableDragを構築し,識別点追跡法と信頼度に基づく動作監視のための潜時拡張戦略を設計した。
• 参考スコア（独自算出の注目度）: 24.924112878074336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.
• Abstract（参考訳）: 点ベース画像編集はDragGANの出現以来注目されている。 最近DragDiffusionは、このドラッグング技術を拡散モデルに適用することで、生成品質をさらに推し進めている。 これらの大きな成功にもかかわらず、このドラッグングスキームは2つの大きな欠点、すなわち不正確な点追跡と不完全な運動監督を示す。 これらの問題に対処するため,我々は,離散点追跡法と動監視のための信頼度に基づく潜在性拡張戦略を設計することにより,stabledragと呼ばれる,安定で正確なドラッグベースの編集フレームワークを構築した。 前者は更新されたハンドルポイントを正確に見つけることができ、これにより長距離操作の安定性が向上しますが、後者はすべての操作ステップで最適化された潜在性を保証する責任があります。 これらのユニークな設計により、より安定したドラッグ性能を実現するStableDrag-GANとStableDrag-Diffの2種類の画像編集モデルを、広範囲な定性的実験とDragBenchの定量的評価によりインスタンス化する。

関連論文リスト

• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Localize, Understand, Collaborate: Semantic-Aware Dragging via Intention Reasoner [8.310002338000954]
  現在の手法では、この問題をポイントドラッグを通じて"ドラッグする方法"を自動学習するものとしてモデル化するのが一般的である。 我々はLucidDragを提案する。これは"ドラッグする方法"から"どうあるべきか"パラダイムに焦点を移すものだ。
  論文  参考訳（メタデータ） (2024-06-01T13:10:43Z)
• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• LightningDrag: Lightning Fast and Accurate Drag-based Image Editing Emerging from Videos [101.59710862476041]
  1秒で高速なドラッグベースの画像編集を可能にするLightningDragを提案する。 従来の方法とは異なり、条件生成タスクとしてドラッグベースの編集を再定義する。 提案手法は, 精度と整合性の観点から, 従来手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2024-05-22T15:14:00Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• GoodDrag: Towards Good Practices for Drag Editing with Diffusion Models [31.708968272342315]
  ドラッグ編集の安定性と画質を向上させる新しい手法であるGoodDragを紹介する。 GoodDragは、拡散プロセス内のドラッグとdenoising操作を交換するAlDDフレームワークを導入した。 また,精密な操作やアーチファクトの削減のために,開始点の本来の特徴を維持できる情報保存型動作監視操作を提案する。
  論文  参考訳（メタデータ） (2024-04-10T17:59:59Z)
• FreeDrag: Feature Dragging for Reliable Point-based Image Editing [16.833998026980087]
  我々は、ポイントトラッキングの負担を軽減すべく、FreeDragという機能ドラッグ手法を提案する。 FreeDragには、アダプティブ更新によるテンプレート機能と、バックトラックによるライン検索という、2つの重要な設計が含まれている。 提案手法は既存の手法よりも優れており,様々な複雑なシナリオにおいても信頼性の高い点ベースの編集が可能である。
  論文  参考訳（メタデータ） (2023-07-10T16:37:46Z)
• DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing [94.24479528298252]
  DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。 大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。 本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-26T06:04:09Z)
• Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
  DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。 定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
  論文  参考訳（メタデータ） (2023-05-18T13:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。