論文の概要: Make It Count: Text-to-Image Generation with an Accurate Number of Objects

• arxiv url: http://arxiv.org/abs/2406.10210v1
• Date: Fri, 14 Jun 2024 17:46:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 12:37:07.682850
• Title: Make It Count: Text-to-Image Generation with an Accurate Number of Objects
• Title（参考訳）: Make it count: 正確なオブジェクト数を持つテキスト・ツー・イメージ生成
• Authors: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik,
• Abstract要約: テキストを使って描かれたオブジェクトの数を制御するのは驚くほど難しい。 生成モデルは、オブジェクトのインスタンス毎に別々のアイデンティティの感覚を保持する必要があるため、オブジェクトの正しいカウントを生成することは難しい。 我々は、CountGenが正しいオブジェクト数でdenoisingをガイドするのにどのように使えるかを示す。
• 参考スコア（独自算出の注目度）: 31.909039527164403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.
• Abstract（参考訳）: テキストと画像の拡散モデルが前例のない成功を収めたにもかかわらず、テキストを使って描写されたオブジェクトの数を制御するのは驚くほど難しい。 これは、技術文書から児童書、調理レシピのイラストまで、様々な用途において重要である。 生成モデルは、複数のオブジェクトが同一に見えるか重複しているように見える場合でも、オブジェクトのインスタンスごとに個別のアイデンティティの感覚を保持し、生成中に暗黙的にグローバルな計算を実行する必要があるため、オブジェクトの正しいカウントの生成は基本的に困難である。 そのような表現が存在するかどうかは不明。 カウント・コレクト・ジェネレーションに対処するため,まずオブジェクトの識別情報を伝達可能な拡散モデル内の特徴を同定する。 次に、それらをデノナイジングプロセス中にオブジェクトのインスタンスを分離してカウントし、過剰世代と低世代を検出するために使用します。 我々は、既存のオブジェクトのレイアウトに基づいて、行方不明オブジェクトの形状と位置の両方を予測するモデルをトレーニングすることで、後者を修正する。 私たちのアプローチであるCountGenは、オブジェクトのレイアウトを決定するために外部ソースに依存しません。 2つのベンチマークデータセットから評価したところ、CountGenは既存のベースラインのカウント精度を強く上回っていることがわかった。

関連論文リスト

• ResVG: Enhancing Relation and Semantic Understanding in Multiple Instances for Visual Grounding [42.10086029931937]
  ビジュアルグラウンドティングは、自然言語クエリに基づいて画像に参照されるオブジェクトをローカライズすることを目的としている。 既存の手法では、画像に複数の障害がある場合、大幅な性能低下を示す。 本稿では,Relation and Semantic-sensitive Visual Grounding (ResVG)モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-29T07:32:01Z)
• Iterative Object Count Optimization for Text-to-image Diffusion Models [59.03672816121209]
  画像とテキストのペアから学ぶ現在のモデルは、本質的にカウントに苦慮している。 本稿では,物体のポテンシャルを集計する計数モデルから得られた計数損失に基づいて生成画像の最適化を提案する。 様々なオブジェクトの生成を評価し,精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-08-21T15:51:46Z)
• DetermiNet: A Large-Scale Diagnostic Dataset for Complex Visually-Grounded Referencing using Determiners [5.256237513030104]
  DetermiNetデータセットは25の判定値に基づいて25万の合成画像とキャプションで構成されている。 タスクは、与えられた決定子のセマンティクスによって制約された関心の対象を特定するために、バウンディングボックスを予測することである。 現在の最先端のビジュアルグラウンドモデルでは、データセットではうまく動作しないことがわかった。
  論文  参考訳（メタデータ） (2023-09-07T05:13:52Z)
• Object-Centric Multiple Object Tracking [124.30650395969126]
  本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。 オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。 オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
  論文  参考訳（メタデータ） (2023-09-01T03:34:12Z)
• Foreground-Background Separation through Concept Distillation from Generative Image Foundation Models [6.408114351192012]
  本稿では, 簡単なテキスト記述から, 一般的な前景-背景セグメンテーションモデルの生成を可能にする新しい手法を提案する。 本研究では,4つの異なる物体(人間,犬,車,鳥)を分割する作業と,医療画像解析におけるユースケースシナリオについて述べる。
  論文  参考訳（メタデータ） (2022-12-29T13:51:54Z)
• DisPositioNet: Disentangled Pose and Identity in Semantic Image Manipulation [83.51882381294357]
  DisPositioNetは、シーングラフを用いた画像操作のタスクに対して、各オブジェクトのアンタングル表現を学習するモデルである。 我々のフレームワークは、グラフ内の特徴表現と同様に、変分潜在埋め込みの切り離しを可能にする。
  論文  参考訳（メタデータ） (2022-11-10T11:47:37Z)
• Context-Aware Layout to Image Generation with Enhanced Object Appearance [123.62597976732948]
  レイアウト・トゥ・イメージ(l2i)生成モデルの目的は、自然背景(スタフ)に対して複数のオブジェクト(もの)を含む複雑な画像を生成することである。 既存のL2Iモデルは大きな進歩を遂げているが、オブジェクト間とオブジェクト間の関係はしばしば壊れている。 これらの原因は、ジェネレータにコンテキスト認識オブジェクトや機能エンコーディングがないことと、識別装置に位置依存の外観表現がないことにあります。
  論文  参考訳（メタデータ） (2021-03-22T14:43:25Z)
• Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
  そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。 クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
  論文  参考訳（メタデータ） (2020-10-19T12:36:11Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。