論文の概要: Generative Location Modeling for Spatially Aware Object Insertion

• arxiv url: http://arxiv.org/abs/2410.13564v1
• Date: Thu, 17 Oct 2024 14:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:36.683062
• Title: Generative Location Modeling for Spatially Aware Object Insertion
• Title（参考訳）: 空間認識オブジェクト挿入のための生成的位置モデリング
• Authors: Jooyeol Yun, Davide Abati, Mohamed Omran, Jaegul Choo, Amirhossein Habibian, Auke Wiggers,
• Abstract要約: 生成モデルは、オブジェクト挿入を含む画像編集タスクの強力なツールになっている。 本稿では,現実的な物体の位置を識別するための位置モデルの構築に焦点をあてる。 具体的には,背景画像と所望のオブジェクトクラスに条件付き境界ボックス座標を生成する自己回帰モデルを訓練する。 この定式化により、スパース配置アノテーションを効果的に処理し、直接選好最適化を行うことで、不明瞭な位置を選好データセットに組み込むことができる。
• 参考スコア（独自算出の注目度）: 35.62317512925592
• License:
• Abstract: Generative models have become a powerful tool for image editing tasks, including object insertion. However, these methods often lack spatial awareness, generating objects with unrealistic locations and scales, or unintentionally altering the scene background. A key challenge lies in maintaining visual coherence, which requires both a geometrically suitable object location and a high-quality image edit. In this paper, we focus on the former, creating a location model dedicated to identifying realistic object locations. Specifically, we train an autoregressive model that generates bounding box coordinates, conditioned on the background image and the desired object class. This formulation allows to effectively handle sparse placement annotations and to incorporate implausible locations into a preference dataset by performing direct preference optimization. Our extensive experiments demonstrate that our generative location model, when paired with an inpainting method, substantially outperforms state-of-the-art instruction-tuned models and location modeling baselines in object insertion tasks, delivering accurate and visually coherent results.
• Abstract（参考訳）: 生成モデルは、オブジェクト挿入を含む画像編集タスクの強力なツールになっている。 しかし、これらの手法は空間的認識を欠くことが多く、非現実的な位置とスケールを持つオブジェクトを生成したり、意図せずシーンの背景を変更したりする。 重要な課題は、幾何学的に適切な物体の位置と高品質の画像編集の両方を必要とする視覚的コヒーレンスを維持することである。 本稿では,前者に焦点を当て,現実的な物体の位置を識別するための位置モデルを作成する。 具体的には,背景画像と所望のオブジェクトクラスに条件付き境界ボックス座標を生成する自己回帰モデルを訓練する。 この定式化により、スパース配置アノテーションを効果的に処理し、直接選好最適化を行うことで、不明瞭な位置を選好データセットに組み込むことができる。 我々の生成位置モデルと塗装法を組み合わせると、オブジェクト挿入タスクにおける最先端の命令調整モデルと位置モデリングベースラインを大幅に上回り、正確かつ視覚的に一貫性のある結果が得られることを示す。

関連論文リスト

• Add-it: Training-Free Object Insertion in Images With Pretrained Diffusion Models [78.90023746996302]
  Add-itは、拡散モデルの注意メカニズムを拡張して、3つの主要なソースからの情報を組み込む、トレーニング不要のアプローチである。 我々の重み付き拡張アテンション機構は、自然物の位置を確実にしながら、構造的一貫性と細部を維持できる。 人間の評価によると、Add-itは80%以上のケースで好まれる。
  論文  参考訳（メタデータ） (2024-11-11T18:50:09Z)
• EraseDraw: Learning to Insert Objects by Erasing Them from Images [24.55843674256795]
  以前の作業は、画像のグローバルな変更、非現実的な空間的な場所へのオブジェクト挿入、不正確な光の詳細の生成によって失敗することが多い。 我々は、最先端のモデルではオブジェクト挿入が不十分であるが、オブジェクトを削除し、自然画像の背景を非常によく消し去ることができることを観察した。 様々な領域にまたがる多様な挿入プロンプトと画像について,説得力のある結果を示す。
  論文  参考訳（メタデータ） (2024-08-31T18:37:48Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• TopNet: Transformer-based Object Placement Network for Image Compositing [43.14411954867784]
  背景画像の局所的な手がかりは、特定の位置/スケールにオブジェクトを置くことの互換性を決定するために重要である。 本稿では,トランスモジュールを用いてオブジェクト特徴とすべてのローカル背景特徴の相関関係を学習することを提案する。 我々の新しい定式化は、1つのネットワークフォワードパスにおけるすべての位置/スケールの組み合わせの妥当性を示す3Dヒートマップを生成する。
  論文  参考訳（メタデータ） (2023-04-06T20:58:49Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• ObjectStitch: Generative Object Compositing [43.206123360578665]
  本研究では,条件付き拡散モデルを用いたオブジェクト合成のための自己教師型フレームワークを提案する。 我々のフレームワークは、手動ラベリングを必要とせず、生成したオブジェクトの視点、幾何学、色、影を変換することができる。 本手法は, 実世界の様々な画像に対するユーザ研究において, 合成結果画像の写実性と忠実性の両方において, 関連ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-12-02T02:15:13Z)
• Towards Self-Supervised Category-Level Object Pose and Size Estimation [121.28537953301951]
  本研究は,一深度画像からのカテゴリレベルのオブジェクトポーズとサイズ推定のための自己教師型フレームワークを提案する。 我々は、同じ形状の点雲における幾何学的整合性を利用して自己超越する。
  論文  参考訳（メタデータ） (2022-03-06T06:02:30Z)
• Localizing Infinity-shaped fishes: Sketch-guided object localization in the wild [5.964436882344729]
  本研究はスケッチ誘導オブジェクトローカライゼーションの問題について考察する。 人間のスケッチは、自然画像におけるオブジェクトのローカライゼーションを実行するクエリとして使用される。 ハードな分類を避けたスケッチ条件のDETRアーキテクチャを提案する。 実験により,我々のモデルとその変種が過去の最先端結果よりも著しく進歩していることが実証された。
  論文  参考訳（メタデータ） (2021-09-24T10:39:43Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。