論文の概要: PICS: Pairwise Image Compositing with Spatial Interactions
- arxiv url: http://arxiv.org/abs/2603.06873v1
- Date: Fri, 06 Mar 2026 20:48:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:13.294348
- Title: PICS: Pairwise Image Compositing with Spatial Interactions
- Title（参考訳）: PICS:空間的相互作用を用いたペアワイズ画像作成
- Authors: Hang Zhou, Xinxin Zuo, Sen Wang, Li Cheng,
- Abstract要約: PICSは、オブジェクトを並列に構成する自己教師型合成分解パラダイムである。
インタラクショントランスフォーマーは、バックグラウンド、排他的、重複する領域をルーティングするために、マスク誘導ミキサーを使用する。
幾何学的変動に対するロバスト性をさらに高めるため、平面外と平面内の両方のポーズ変化をカバーする幾何学的付加を取り入れた。
- 参考スコア（独自算出の注目度）: 20.306534705755613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite strong single-turn performance, diffusion-based image compositing often struggles to preserve coherent spatial relations in pairwise or sequential edits, where subsequent insertions may overwrite previously generated content and disrupt physical consistency. We introduce PICS, a self-supervised composition-by-decomposition paradigm that composes objects in parallel while explicitly modeling the compositional interactions among (fully-/partially-)visible objects and background. At its core, an Interaction Transformer employs mask-guided Mixture-of-Experts to route background, exclusive, and overlap regions to dedicated experts, with an adaptive α-blending strategy that infers a compatibility-aware fusion of overlapping objects while preserving boundary fidelity. To further enhance robustness to geometric variations, we incorporate geometry-aware augmentations covering both out-of-plane and in-plane pose changes of objects. Our method delivers superior pairwise compositing quality and substantially improved stability, with extensive evaluations across virtual try-on, indoor, and street scene settings showing consistent gains over state-of-the-art baselines. Code and data are available at https://github.com/RyanHangZhou/PICS
- Abstract（参考訳）: 強いシングルターン性能にもかかわらず、拡散ベースの画像合成は、しばしばペアワイドまたはシーケンシャルな編集でコヒーレントな空間関係を維持するのに苦労する。
PICSは、オブジェクトを並列に構成する自己教師型合成・分解パラダイムであり、(完全にかつ部分的に)可視なオブジェクトと背景間の合成相互作用を明示的にモデル化する。
その中核となるInteraction Transformerは、背景、排他的、重複する領域を専門の専門家にルーティングするために、マスク誘導のMixture-of-Expertsを使用しており、境界忠実性を保ちながら、重複するオブジェクトの互換性を意識した融合を推論する適応的なαブレンディング戦略を採用している。
幾何学的変動に対するロバスト性をさらに高めるため、平面外と平面内の両方のポーズ変化をカバーする幾何学的付加を取り入れた。
提案手法は, 仮想試行, 屋内, 街路シーン設定において, 最先端のベースラインよりも一貫した利得を示すとともに, 品質と安定性を著しく向上させる。
コードとデータはhttps://github.com/RyanHangZhou/PICSで公開されている。
関連論文リスト
- ControlVP: Interactive Geometric Refinement of AI-Generated Images with Consistent Vanishing Points [32.23473666846317]
生成した画像の点不整合を補正するユーザガイドフレームワークである制御VPを提案する。
提案手法は, 構造物の輪郭から導出される構造的ガイダンスを組み込むことにより, 事前学習拡散モデルを拡張する。
本手法は,ベースラインに匹敵する視力を維持しながら,グローバルな幾何整合性を向上させる。
論文 参考訳（メタデータ） (2025-12-08T12:38:11Z) - Follow My Hold: Hand-Object Interaction Reconstruction through Geometric Guidance [61.41904916189093]
単眼RGB画像から手持ち物体の3次元形状を再構成する拡散法に基づく新しいフレームワークを提案する。
我々は手オブジェクト間相互作用を幾何学的ガイダンスとして使用し、手オブジェクト間相互作用を確実にする。
論文 参考訳（メタデータ） (2025-08-25T17:11:53Z) - Aligned Novel View Image and Geometry Synthesis via Cross-modal Attention Instillation [62.87088388345378]
ワーピング・アンド・インペインティング手法を用いて,新しいビューイメージと幾何学生成の整合性を実現する拡散型フレームワークを提案する。
手法は、既製の幾何学予測器を利用して、参照画像から見る部分的な幾何学を予測する。
生成した画像と幾何の正確なアライメントを確保するために, クロスモーダルアテンション蒸留法を提案する。
論文 参考訳（メタデータ） (2025-06-13T16:19:00Z) - Geometry-Editable and Appearance-Preserving Object Compositon [67.98806888489385]
汎用オブジェクト合成(GOC)は、対象オブジェクトを望まれる幾何学的性質を持つ背景シーンにシームレスに統合することを目的としている。
近年のアプローチは意味的埋め込みを導出し、それらを高度な拡散モデルに統合し、幾何学的に編集可能な生成を可能にする。
本稿では,まずセマンティックな埋め込みを活用して,所望の幾何学的変換を暗黙的にキャプチャするDistangled Geometry-editable and Outearance-Preserving Diffusionモデルを提案する。
論文 参考訳（メタデータ） (2025-05-27T09:05:28Z) - ShapeShift: Towards Text-to-Shape Arrangement Synthesis with Content-Aware Geometric Constraints [13.2441524021269]
ShapeShiftはテキスト誘導による画像から画像への変換タスクであり、入力された剛体形状の集合を重複しない構成に再構成する必要がある。
重複が発生した場合に,最小限の意味的コヒーレントな調整を施す,コンテンツ対応の衝突解決機構を導入する。
本手法は,空間的関係がテキストのプロンプトをはっきりと具現化した解釈可能な構成を与える。
論文 参考訳（メタデータ） (2025-03-18T20:48:58Z) - Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。
既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。
より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
論文 参考訳（メタデータ） (2024-12-11T09:53:10Z) - Enhancing Object Coherence in Layout-to-Image Synthesis [2.3805413240744304]
本稿では,オブジェクトのコヒーレンスを導くために,効果的なグローバルセマンティックフュージョン(GSF)と自己相似特徴拡張モジュールを用いた新しい拡散モデルを提案する。
セマンティックコヒーレンスについては,イメージキャプションには画像内のオブジェクト内のセマンティックな関係を定義するための豊富な情報が含まれていると論じる。
物理コヒーレンスを改善するため,各画素の生成プロセスに局所的な物理的コヒーレンス関係を明示的に統合する自己相似コヒーレンスアテンション合成(SCA)モジュールを開発した。
論文 参考訳（メタデータ） (2023-11-17T13:43:43Z) - Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。
特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。
我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
論文 参考訳（メタデータ） (2020-04-29T10:49:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。