論文の概要: FreeDrag: Feature Dragging for Reliable Point-based Image Editing

• arxiv url: http://arxiv.org/abs/2307.04684v4
• Date: Sat, 3 Aug 2024 15:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:35:17.024838
• Title: FreeDrag: Feature Dragging for Reliable Point-based Image Editing
• Title（参考訳）: FreeDrag: 信頼性の高いポイントベースの画像編集のための機能ドラッグ
• Authors: Pengyang Ling, Lin Chen, Pan Zhang, Huaian Chen, Yi Jin, Jinjin Zheng,
• Abstract要約: 我々は、ポイントトラッキングの負担を軽減すべく、FreeDragという機能ドラッグ手法を提案する。 FreeDragには、アダプティブ更新によるテンプレート機能と、バックトラックによるライン検索という、2つの重要な設計が含まれている。 提案手法は既存の手法よりも優れており,様々な複雑なシナリオにおいても信頼性の高い点ベースの編集が可能である。
• 参考スコア（独自算出の注目度）: 16.833998026980087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To serve the intricate and varied demands of image editing, precise and flexible manipulation in image content is indispensable. Recently, Drag-based editing methods have gained impressive performance. However, these methods predominantly center on point dragging, resulting in two noteworthy drawbacks, namely "miss tracking", where difficulties arise in accurately tracking the predetermined handle points, and "ambiguous tracking", where tracked points are potentially positioned in wrong regions that closely resemble the handle points. To address the above issues, we propose FreeDrag, a feature dragging methodology designed to free the burden on point tracking. The FreeDrag incorporates two key designs, i.e., template feature via adaptive updating and line search with backtracking, the former improves the stability against drastic content change by elaborately controls feature updating scale after each dragging, while the latter alleviates the misguidance from similar points by actively restricting the search area in a line. These two technologies together contribute to a more stable semantic dragging with higher efficiency. Comprehensive experimental results substantiate that our approach significantly outperforms pre-existing methodologies, offering reliable point-based editing even in various complex scenarios.
• Abstract（参考訳）: 画像編集の複雑で多様な要求を満たすためには、画像内容の正確で柔軟な操作が不可欠である。 近年,Dragベースの編集手法が注目されている。 しかし、これらの手法は主に点のドラッグを中心にしており、2つの注目すべき欠点、すなわち、所定のハンドルポイントを正確に追跡することが困難である「ミストラッキング」と、トラックされたポイントがハンドルポイントとよく似た間違った領域に置かれる可能性がある「あいまいなトラッキング」である。 上記の問題に対処するため、ポイントトラッキングの負担を軽減すべく、FreeDragという機能ドラッグ手法を提案する。 FreeDragは2つの重要な設計、すなわち適応更新によるテンプレート機能とバックトラックによるライン検索、前者はドラッグ後の特徴更新スケールを精巧に制御することで劇的なコンテンツ変更に対する安定性を改善し、後者はライン内の検索領域を積極的に制限することで類似点からの誤認を軽減する。 これら2つの技術は、より高い効率でより安定したセマンティックドラッグに寄与する。 総合的な実験結果から,提案手法が既存の手法よりも大幅に優れており,様々な複雑なシナリオにおいても信頼性の高い点ベースの編集が可能であることが示唆された。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• AdaptiveDrag: Semantic-Driven Dragging on Diffusion-Based Image Editing [14.543341303789445]
  マスクレスのポイントベース画像編集手法であるAdaptiveDragを提案する。 入力画像とドラッグプロセスとの包括的接続を確保するため,セマンティック駆動型最適化を開発した。 提案手法は,これらの効果的な設計に基づいて,単一入力画像とハンド・ターゲット・ポイント・ペアのみを用いて,優れた生成結果を提供する。
  論文  参考訳（メタデータ） (2024-10-16T15:59:02Z)
• Localize, Understand, Collaborate: Semantic-Aware Dragging via Intention Reasoner [8.310002338000954]
  現在の手法では、この問題をポイントドラッグを通じて"ドラッグする方法"を自動学習するものとしてモデル化するのが一般的である。 我々はLucidDragを提案する。これは"ドラッグする方法"から"どうあるべきか"パラダイムに焦点を移すものだ。
  論文  参考訳（メタデータ） (2024-06-01T13:10:43Z)
• GoodDrag: Towards Good Practices for Drag Editing with Diffusion Models [31.708968272342315]
  ドラッグ編集の安定性と画質を向上させる新しい手法であるGoodDragを紹介する。 GoodDragは、拡散プロセス内のドラッグとdenoising操作を交換するAlDDフレームワークを導入した。 また,精密な操作やアーチファクトの削減のために,開始点の本来の特徴を維持できる情報保存型動作監視操作を提案する。
  論文  参考訳（メタデータ） (2024-04-10T17:59:59Z)
• StableDrag: Stable Dragging for Point-based Image Editing [24.924112878074336]
  点ベース画像編集はDragGANの出現以来注目されている。 近年、DragDiffusionは、このドラッグング技術を拡散モデルに適用することで、生成品質をさらに推し進めている。 我々は,安定かつ高精度なドラッグベース編集フレームワークであるStableDragを構築し,識別点追跡法と信頼度に基づく動作監視のための潜時拡張戦略を設計した。
  論文  参考訳（メタデータ） (2024-03-07T12:11:02Z)
• DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing [94.24479528298252]
  DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。 大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。 本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-26T06:04:09Z)
• Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
  DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。 定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
  論文  参考訳（メタデータ） (2023-05-18T13:41:25Z)
• Video Annotation for Visual Tracking via Selection and Refinement [74.08109740917122]
  ビデオシーケンスのバウンディングボックスアノテーションを容易にするための新しいフレームワークを提案する。 目標位置の時間的コヒーレンスを捉えることのできる時間的アセスメントネットワークを提案する。 また、選択したトラッキング結果をさらに強化するために、ビジュアルジオメトリ・リファインメント・ネットワークが設計されている。
  論文  参考訳（メタデータ） (2021-08-09T05:56:47Z)
• SOLD2: Self-supervised Occlusion-aware Line Description and Detection [95.8719432775724]
  単一深層ネットワークにおける回線セグメントの最初の共同検出と記述について紹介します。 我々の手法は注釈付き行ラベルを必要としないため、任意のデータセットに一般化することができる。 複数のマルチビューデータセットにおいて,従来の行検出と記述方法に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-04-07T19:27:17Z)
• Tracklets Predicting Based Adaptive Graph Tracking [51.352829280902114]
  マルチオブジェクト追跡,すなわち textbfTPAGT のための,正確かつエンドツーエンドの学習フレームワークを提案する。 動作予測に基づいて、現在のフレーム内のトラックレットの特徴を再抽出する。
  論文  参考訳（メタデータ） (2020-10-18T16:16:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。