論文の概要: CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation
- arxiv url: http://arxiv.org/abs/2606.15867v1
- Date: Sun, 14 Jun 2026 15:38:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 18:36:04.920051
- Title: CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation
- Title（参考訳）: CogCanvas:マルチオブジェクト参照ベース画像生成評価ベンチマーク
- Abstract要約: 我々はCagCanvasを紹介した。これは100の有名人のアイデンティティ、115の独特なオブジェクトとファッションアイテム、29の現実世界の背景シーンにまたがる1,952のキュレートされた参照画像のベンチマークである。
このパイプラインは、DINOv2ベースの重複、二段階の美的フィルタリング、構造化相互作用と位置グラフの自動導出を組み合わせたものである。
5つのSOTA手法のベンチマークにより、全てのモデルがグループサイズが2から5に大きくなるにつれて大幅に劣化し、オブジェクト/ファッション結合が3つの主題を超えてほぼ完全に失敗することが明らかとなった。
- 参考スコア（独自算出の注目度）: 19.10912769596512
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-subject reference-based image generation requires jointly preserving multiple human identities, binding per-person objects and fashion items, and respecting a specified background scene, a regime where current diffusion models remain brittle. Existing benchmarks evaluate only one axis at a time and none jointly captures multi-identity composition with human-object interaction, background grounding, and spatial plausibility. We introduce CogCanvas, a benchmark of 1,952 curated reference images spanning 100 celebrity identities, 115 distinctive objects and fashion items, and 29 real-world background scenes including landmarks, from which we construct 1,361 compositional prompts covering 2-5 person group sizes. The curation pipeline combines DINOv2-based deduplication, two-stage aesthetic filtering, and automated derivation of structured interaction and position graphs that serve as ground-truth supervision. CogCanvas supports three tasks, reference-based multi-human-object generation (primary), text-to-image compositional generation, and reference retrieval, under a unified six-axis evaluation protocol. We introduce two metrics tailored to the multi-reference setting: BG-Sim, which scores background fidelity on SAM 3-masked regions via DINOv3 feature similarity, and Attr-VQA, which uses a multimodal LLM to verify per-subject attribute binding and inter-person interactions against the structured graphs. Benchmarking five SOTA methods reveals that every model degrades substantially as group size grows from 2 to 5, with near-complete failure on object/fashion binding beyond three subjects.
- Abstract（参考訳）: マルチオブジェクト参照ベースの画像生成には、複数の人間のアイデンティティを共同保存し、個人ごとのオブジェクトとファッションアイテムを結び付け、現在の拡散モデルが不安定な状態である特定の背景シーンを尊重する必要がある。
既存のベンチマークでは、一度に1つの軸しか評価せず、人間と物体の相互作用、背景の接地、空間的可視性など、複数のアイデンティティの合成を共同でキャプチャすることはない。
我々は,100の有名人,115の独特なオブジェクトとファッションアイテム,29の現実世界の背景シーンを対象とする,1,952のキュレートされた参照画像のベンチマークであるCogCanvasを紹介し,そこから2～5人のグループサイズをカバーする1,361の作曲プロンプトを構築した。
キュレーションパイプラインは、DINOv2ベースの重複の重複、二段階の美的フィルタリング、構造的相互作用と地中構造を監督する位置グラフの自動導出を組み合わせている。
CogCanvasは、参照ベースのマルチヒューマンオブジェクト生成(プライマリ)、テキストから画像への合成生成、参照検索の3つのタスクを、統合された6軸評価プロトコルでサポートする。
本稿では,DINOv3の特徴的類似性を介してSAM 3-masked領域の背景忠実度をスコアするBG-Simと,構造化グラフに対するオブジェクトごとの属性結合と対人インタラクションの検証にマルチモーダルLLMを使用するAttr-VQAの2つの指標を紹介する。
5つのSOTA手法のベンチマークにより、全てのモデルがグループサイズが2から5に大きくなるにつれて大幅に劣化し、オブジェクト/ファッション結合が3つの主題を超えてほぼ完全に失敗することが明らかとなった。
関連論文リスト
- 3SGen: Unified Subject, Style, and Structure-Driven Image Generation with Adaptive Task-specific Memory [54.056509629389915]
3SGenはタスク対応の統一フレームワークで、単一のモデル内で3つの条件付けモードすべてを実行する。
その中核となるのは、Adaptive Task-specific Memory (ATM)モジュールで、動的に切り離され、格納され、条件固有の事前情報を検索する。
本稿では3SGen-Benchを提案する。3SGen-Benchは3SGen-Bench,3SGen-Bench,3SGen-Bench,3SGen-Bench,3SGen-Bench,3SGen-Bench,3SGen-Bench。
論文 参考訳（メタデータ） (2025-12-22T11:07:27Z) - TokenAR: Multiple Subject Generation via Autoregressive Token-level enhancement [87.82338951215131]
TokenARは、参照ID混乱問題に対処するための、単純だが効果的なトークンレベル拡張機構である。
Token Injectionのインストラクションは、参照トークンの詳細なおよび補完的な事前を注入する、余分な視覚的特徴コンテナの役割として機能する。
Identity-token disentanglement Strategy(ITD)は、トークン表現を個々のアイデンティティの特徴を独立に表現するために明示的にガイドする。
論文 参考訳（メタデータ） (2025-10-18T03:36:26Z) - SegMASt3R: Geometry Grounded Segment Matching [23.257530861472656]
我々は3次元基礎モデルの空間的理解を活用して,広義のセグメントマッチングに取り組む。
本稿では,これら3次元基礎モデルの帰納バイアスを利用して,最大180度の視点変化回転で画像対間のセグメントをマッチングするアーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-10-06T17:31:32Z) - DIPO: Dual-State Images Controlled Articulated Object Generation Powered by Diverse Data [67.99373622902827]
DIPOは、一対のイメージから調音された3Dオブジェクトを制御可能な生成するためのフレームワークである。
本稿では,イメージペア間の関係を捉え,部分配置と関節パラメータを生成するデュアルイメージ拡散モデルを提案する。
複雑な3Dオブジェクトの大規模データセットであるPM-Xについて,レンダリング画像,URDFアノテーション,テキスト記述を伴って提案する。
論文 参考訳（メタデータ） (2025-05-26T18:55:14Z) - MMIG-Bench: Towards Comprehensive and Explainable Evaluation of Multi-Modal Image Generation Models [42.91502354577658]
MMIG-Benchは総合的なマルチモーダル画像生成ベンチマークである。
4,850件の注釈付きテキストプロンプトと380件の被験者に1,750件のマルチビュー参照イメージをペアリングする。
MMIG-Benchを用いて、Gemini 2.5 Pro、FLUX、DreamBooth、IP-Adapterを含む17の最先端モデルをベンチマークする。
論文 参考訳（メタデータ） (2025-05-26T02:07:24Z) - Context-Aware Aerial Object Detection: Leveraging Inter-Object and Background Relationships [10.416444779297148]
現代のほとんどのオブジェクト検出パイプラインでは、特徴マップから独立して検出提案が処理される。
本稿では,トランスフォーマーモデルとコントラスト言語-画像事前学習機能の強みを利用するフレームワークを提案する。
DOTA-v1.0 では 1.37 mAP$_50$,DOTA-v1.5 では 5.30 mAP$_50$,DOTA-v2.0 では 2.30 mAP$_50$,DI では 3.23 mAP$_50$ が増加し,新たな最先端結果が得られた。
論文 参考訳（メタデータ） (2024-04-05T14:39:13Z) - SM$^3$: Self-Supervised Multi-task Modeling with Multi-view 2D Images
for Articulated Objects [24.737865259695006]
そこで本研究では, SM$3$と呼ばれる自己教師型相互作用認識手法を提案する。
取得した2次元画像から3次元の幾何学とテクスチャを構築することで、SM$3$は可動部と関節パラメータの統合最適化を実現する。
SM$3$は、様々なカテゴリやオブジェクトにわたる既存のベンチマークを上回り、実際のシナリオにおける適応性は、徹底的に検証されている。
論文 参考訳（メタデータ） (2024-01-17T11:15:09Z) - Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。
Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。
ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
論文 参考訳（メタデータ） (2023-06-03T11:50:44Z) - T-Person-GAN: Text-to-Person Image Generation with Identity-Consistency
and Manifold Mix-Up [16.165889084870116]
テキストのみに条件付けされた高解像度の人物画像を生成するためのエンドツーエンドアプローチを提案する。
2つの新しいメカニズムで人物画像を生成するための効果的な生成モデルを開発する。
論文 参考訳（メタデータ） (2022-08-18T07:41:02Z) - Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。
また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。
提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2021-09-13T11:44:07Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳（メタデータ） (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。