論文の概要: PoseAdapter: Dual-Stream 2.5D Controllable Image Generation for Complex Multi-Object Scenes
- arxiv url: http://arxiv.org/abs/2608.15583v1
- Date: Sun, 16 Aug 2026 07:18:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.355374
- Title: PoseAdapter: Dual-Stream 2.5D Controllable Image Generation for Complex Multi-Object Scenes
- Title（参考訳）: PoseAdapter: 複雑なマルチオブジェクトシーンのためのデュアルストリーム2.5D制御可能な画像生成
- Abstract要約: PoseAdapterは、2.5D制御可能な高忠実度画像生成のためのフレームワークである。
個々のオブジェクトキャプション、2Dバウンディングボックス、3Dアングルを使用して正確な空間角アンカーを確立する。
空間的精度、向きの精度、多目的視力において最先端のベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 32.05027130743237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Text-to-Image (T2I) diffusion models have achieved remarkable success, precise spatial and orientational control in multi-object scenes remains a persistent challenge. Existing methods either rely on computationally expensive dense 3D maps or suffer from severe attribute leakage and "cut-and-paste" artifacts. To address these limitations, we propose PoseAdapter, a lightweight framework for high-fidelity 2.5D controllable image generation. Instead of dense spatial maps, it establishes precise spatial-angular anchors using an efficient condition layout: individual object captions, 2D bounding boxes, and 3D angles. To resolve the generative trade-off between strict instance isolation and global coherence, we introduce a Context-Aware Dual-Stream Representation. By injecting local object tokens and relation-enriched scene tokens into the visual stream of modern MM-DiT architectures via parallel masked and unmasked pathways, PoseAdapter eliminates attribute leakage while preserving natural inter-object relationships and scene-level coherence. To support this paradigm, we construct OrientLayout, a high-quality dataset featuring standardized 2.5D annotations and instance-level decoupled semantics. Extensive experiments demonstrate that PoseAdapter outperforms state-of-the-art baselines in spatial accuracy, orientational precision, and multi-object visual fidelity. Code and dataset will be available at https://github.com/cyf23/PoseAdapter.
- Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは顕著な成功を収めているが、多目的シーンにおける正確な空間的・向きの制御は依然として持続的な課題である。
既存の手法は計算に高価な高密度3Dマップに依存するか、深刻な属性リークや「カット・アンド・ペースト」アーティファクトに悩まされる。
これらの制約に対処するため,高忠実度2.5D制御可能な画像生成のための軽量フレームワークであるPoseAdapterを提案する。
密集した空間地図の代わりに、個々のオブジェクトキャプション、2Dバウンディングボックス、3Dアングルという効率的な条件レイアウトを用いて、正確な空間角アンカーを確立する。
厳密なインスタンス分離とグローバルコヒーレンスの間の生成的トレードオフを解決するために,コンテキスト対応のデュアルストリーム表現を導入する。
PoseAdapterは、ローカルオブジェクトトークンとリレーショナルリッチなシーントークンを、並列マスキングおよびアンマスク経路を介して、現代のMM-DiTアーキテクチャのビジュアルストリームに注入することで、自然なオブジェクト間の関係とシーンレベルの一貫性を維持しながら、属性の漏洩を排除します。
このパラダイムをサポートするために、標準化された2.5Dアノテーションとインスタンスレベルの分離されたセマンティクスを備えた高品質なデータセットであるOrientLayoutを構築した。
広汎な実験により、PoseAdapterは空間的精度、方向精度、多目的視覚忠実度において最先端のベースラインを上回っていることが示された。
コードとデータセットはhttps://github.com/cyf23/PoseAdapter.comで入手できる。
関連論文リスト
- Beyond 2D Matching: A Unified Single-Stage Framework for Geometry-Aware Cross-View Object Geo-Localization [21.013795754583697]
クロスビューオブジェクトジオローカライゼーション(CVOGL)は、ジオタグ付き参照画像(衛星など)内のクエリビューからターゲットオブジェクトを見つけることを目的としている。
既存のアプローチは2次元の外観マッチングに大きく依存しており、幾何学的メタデータを欠いた限られたデータセットによって制約されている。
まず、22万以上の地上衛星とドローンと衛星のペアからなる大規模で高忠実なビルディングデータセットであるデータセットを紹介します。
変分同変量3D基礎モデル$をベースとした新しい一段階幾何対応ジオローカライゼーションフレームワーク(GAGeo)を提案する。
論文 参考訳（メタデータ） (2026-06-29T17:19:49Z) - Pose-ICL: 3D-Aware In-Context Learning for Pose-Controllable Subject Customization [9.596779036612409]
Pose-ICLは、複数のペア画像-目的参照を通じて新しい主題に適応するチューニング不要のフレームワークである。
その中核となるメカニズムであるSAPE(Surface-Anchored Position Embedding)は、画像トークンをボリューム境界ボックスの表面座標に固定することで、明示的な3D認識をモデルに装備する。
3Dアセットと実世界の被験者の広範囲な評価は、Pose-ICLが精度とアイデンティティの整合性の両方において、現在の手法を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2026-06-09T14:13:40Z) - TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation [1.709500663078044]
TrioはSD3.5Mアーキテクチャ上に構築されたポーズ駆動フレームワークである。
Human-Art、CrowdPose、OCHumanなど、挑戦的なベンチマークで最先端のパフォーマンスを実現している。
人文芸術のAPは6,4.33ドルに達し、それまでの芸術よりも30%値上がりしている。
論文 参考訳（メタデータ） (2026-06-05T08:54:28Z) - Direct 3D-Aware Object Insertion via Decomposed Visual Proxies [101.76006356727015]
DIRECT(Decomposed Injection for Reference Composition and Target-integration)は、対話型ポーズ操作と高忠実度2D画像合成を統合する新しいフレームワークである。
提案手法は挿入条件を,参照オブジェクトから視覚的詳細をキャプチャする外観ガイダンス,ユーザ調整3Dプロキシから派生した幾何学的ガイダンス,ターゲット背景からのコンテキストガイダンスの3つの補完成分に分解する。
実験により、DIRECTは幾何学的制御性と視覚的品質の両方において従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2026-06-04T18:00:34Z) - ObjEmbed: Towards Universal Multimodal Object Embeddings [74.39703419628829]
我々は、新しい個別オブジェクト埋め込みモデルであるEmbedを提示する。
入力画像を複数の局所的な埋め込みに分解し、それぞれが個々のオブジェクトに対応し、グローバルな埋め込みを行う。
ビジュアル検索、ローカル画像検索、グローバル画像検索など、幅広い視覚的理解タスクをサポートする。
論文 参考訳（メタデータ） (2026-02-02T07:38:45Z) - RoamScene3D: Immersive Text-to-3D Scene Generation via Adaptive Object-aware Roaming [79.81527946524098]
RoamScene3Dはセマンティックガイダンスと空間生成のギャップを埋める新しいフレームワークである。
我々は、オブジェクト関係を符号化するシーングラフを構築するために、視覚言語モデル(VLM)を用いる。
静的な2Dプリミティブの制約を軽減するため、合成パノラマデータセットに微調整されたモーションインジェクトインペインティングモデルを導入する。
論文 参考訳（メタデータ） (2026-01-27T10:10:55Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation [81.0871900167463]
GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。
テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。
部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。
予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
論文 参考訳（メタデータ） (2025-08-19T17:58:51Z) - SCORP: Scene-Consistent Object Refinement via Proxy Generation and Tuning [46.441761732998536]
プロキシジェネレーションとチューニング(SCORP)によるシーン一貫性オブジェクトリファインメント(Scene-Consistent Object Refinement)について紹介する。
SCORP は、3D 生成に先立って細粒度なオブジェクトの形状と外観を復元する新しい3D拡張フレームワークである。
これは、新しいビュー合成と幾何完成タスクの両方において、最近の最先端のベースラインに対して一貫した利得を達成する。
論文 参考訳（メタデータ） (2025-06-30T13:26:21Z) - HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation [50.206100327643284]
HiSceneは、2D画像生成と3Dオブジェクト生成のギャップを埋める新しい階層的なフレームワークである。
構成構造を維持しながら2次元表現に整合した3次元コンテンツを生成する。
論文 参考訳（メタデータ） (2025-04-17T16:33:39Z) - A3D: Does Diffusion Dream about 3D Alignment? [73.97853402817405]
幾何学的アライメントの観点からテキスト駆動型3D生成の問題に取り組む。
テキストプロンプトのセットが与えられたら、意味的に対応する部分同士が整列したオブジェクトの集合を生成することを目指している。
我々は、これらのオブジェクトを共通の潜在空間に埋め込み、これらのオブジェクト間の連続的な遷移を最適化することを提案する。
論文 参考訳（メタデータ） (2024-06-21T09:49:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。