論文の概要: InstancePin: Instance-Addressable Layout-to-Image Diffusion via Coordinate Pinning
- arxiv url: http://arxiv.org/abs/2608.00588v1
- Date: Sat, 01 Aug 2026 10:54:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.803909
- Title: InstancePin: Instance-Addressable Layout-to-Image Diffusion via Coordinate Pinning
- Title（参考訳）: InstancePin: コーディネートピンニングによるインスタンス適応型レイアウト・ツー・イメージ拡散
- Abstract要約: InstancePinはインスタンス順応可能なレイアウトからイメージへの拡散フレームワークである。
明示的な座標アンカーで各オブジェクトインスタンスをピンする。
Cityscapesの実験では、高密度レイアウトにおけるインスタンスの絡み合いは、イメージの忠実さとセマンティック一貫性の両方を改善している。
- 参考スコア（独自算出の注目度）: 13.049709068625196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Layout-to-image diffusion models have achieved impressive semantic controllability by conditioning generation on category-level segmentation maps. However, such category-aligned control is not necessarily instance-addressable: multiple nearby objects from the same category are often treated as a shared semantic region, leading to ambiguous boundaries, averaged appearances, and feature confusion among instances. This limitation is particularly evident in urban scene synthesis, where small and crowded pedestrians or vehicles require fine-grained instance separation while preserving global scene consistency. In this paper, we propose InstancePin, an instance-addressable layout-to-image diffusion framework that pins each object instance with an explicit coordinate anchor. Instead of directly injecting instance masks into the pretrained backbone, InstancePin introduces an independent instance-aware adapter to preserve the category-level generation prior while learning instance-specific spatial control. For each instance, its center coordinate is encoded with Fourier features and projected into a coordinate token, which serves as a spatial anchor queried by latent image features through coordinate pinning attention. To make these anchors spatially meaningful, we further supervise the coordinate attention maps with instance regions, encouraging each coordinate token to activate its corresponding object area. Finally, an instance-mask guided fusion module routes pretrained backbone features to non-instance regions and adapter features to instance regions, enabling local instance refinement without sacrificing global semantic fidelity. Extensive experiments on Cityscapes demonstrate that InstancePin mitigates instance entanglement in dense layouts and improves both image fidelity and semantic consistency.
- Abstract（参考訳）: レイアウト・ツー・イメージ拡散モデルでは,カテゴリレベルのセグメンテーションマップ上での条件付け生成により,印象的なセマンティック・コントロール性が達成されている。
しかし、そのようなカテゴリ整列制御は、必ずしもインスタンス順応可能であるとは限らない。同じカテゴリに属する複数の近接オブジェクトは、しばしば共有セマンティック領域として扱われ、あいまいな境界、平均的な外観、インスタンス間の特徴混乱につながる。
この制限は、小規模で混雑した歩行者や車両が細かなインスタンス分離を必要としながら、グローバルなシーン一貫性を維持する都市シーンの合成において特に顕著である。
本稿では,各オブジェクトインスタンスを明示的な座標アンカーでピン留めするインスタンス適応型レイアウト・イメージ拡散フレームワークであるInstancePinを提案する。
事前トレーニングされたバックボーンにインスタンスマスクを直接注入する代わりに、インスタンス固有の空間制御を学習しながら、カテゴリレベルの生成を保存する独立したインスタンス対応アダプタを導入する。
それぞれのインスタンスに対して、中心座標はフーリエ特徴で符号化され、座標トークンに投影される。
これらのアンカーを空間的に意味のあるものにするため、各座標トークンが対応する対象領域を活性化するよう促すため、座標注意マップをインスタンス領域と共に監督する。
最後に、インスタンスマスクでガイドされたフュージョンモジュールは、トレーニング済みのバックボーン機能をインスタンス領域にルートし、アダプタ機能をインスタンス領域にルーティングする。
Cityscapesに関する大規模な実験は、InstancePinが高密度レイアウトにおけるインスタンスの絡みを緩和し、画像の忠実度とセマンティック一貫性の両方を改善していることを示している。
関連論文リスト
- MORI-Seg: Learning Morphological Geometry for Instance Segmentation without Instance Annotations [8.822301906283052]
インスタンスレベルのアノテーションを必要とせずにインスタンスセグメンテーションを可能にするディープラーニングフレームワークである Mori-Seg を提案する。
モリセグは分割やインスタンス管理を行う代わりに、意味マスクから直接形態学的に認識された幾何学的表現を学ぶ。
Mori-Segはセマンティックのみの監視の下で、接続されたセマンティック領域をエンドツーエンドの方法で個別のインスタンスマスクに分解する。
論文 参考訳（メタデータ） (2026-05-27T10:11:30Z) - EipFormer: Emphasizing Instance Positions in 3D Instance Segmentation [51.996943482875366]
本稿では, プログレッシブアグリゲーションとデュアル位置埋め込みを組み合わせた新しいトランスフォーマーアーキテクチャ, EipFormerを提案する。
EipFormerは最先端のアプローチよりも優れた、あるいは同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-12-09T16:08:47Z) - LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-08-13T08:06:18Z) - Perceive, Excavate and Purify: A Novel Object Mining Framework for
Instance Segmentation [4.375012768093524]
本稿では,新しいオブジェクトマイニングフレームワークを提案する。
まず、サブネットを知覚するセマンティクスを導入し、ボトムアップから明らかなインスタンスに属するピクセルをキャプチャする。
このメカニズムでは、事前認識されたセマンティクスは分類と位置を持つ元のインスタンスと見なされ、これらの元のインスタンスを取り巻く識別不能なオブジェクトはマイニングされる。
論文 参考訳（メタデータ） (2023-04-18T08:47:03Z) - Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。
SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
論文 参考訳（メタデータ） (2022-03-24T03:15:39Z) - Video Instance Segmentation by Instance Flow Assembly [23.001856276175506]
箱のない特徴を扱うボトムアップ手法は、フレーム間の正確な空間的相関を提供する。
フレーム間の相関関係をよりよくエンコードするための時間的コンテキスト融合モジュールを備えたフレームワークを提案する。
実験により、提案手法は、挑戦的なYoutube-VISデータセット上で、最先端のオンライン手法(画像レベルの入力を取る)よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-20T14:49:28Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳（メタデータ） (2021-07-25T08:53:59Z) - Object-Guided Instance Segmentation With Auxiliary Feature Refinement
for Biological Images [58.914034295184685]
サンプルセグメンテーションは、神経細胞相互作用の研究、植物の表現型化、細胞が薬物治療にどう反応するかを定量的に測定するなど、多くの生物学的応用において非常に重要である。
Boxベースのインスタンスセグメンテーションメソッドは、バウンディングボックスを介してオブジェクトをキャプチャし、各バウンディングボックス領域内で個々のセグメンテーションを実行する。
提案手法は,まずオブジェクトの中心点を検出し,そこから境界ボックスパラメータが予測される。
セグメンテーションブランチは、オブジェクト特徴をガイダンスとして再利用し、同じバウンディングボックス領域内の隣のオブジェクトからターゲットオブジェクトを分離する。
論文 参考訳（メタデータ） (2021-06-14T04:35:36Z) - AFAN: Augmented Feature Alignment Network for Cross-Domain Object
Detection [90.18752912204778]
オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。
本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。
提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2021-06-10T05:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。