論文の概要: Hummingbird: High Fidelity Image Generation via Multimodal Context Alignment

• arxiv url: http://arxiv.org/abs/2502.05153v1
• Date: Fri, 07 Feb 2025 18:32:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:24.087587
• Title: Hummingbird: High Fidelity Image Generation via Multimodal Context Alignment
• Title（参考訳）: Hummingbird:マルチモーダルコンテキストアライメントによる高忠実度画像生成
• Authors: Minh-Quan Le, Gaurav Mittal, Tianjian Meng, A S M Iftekhar, Vishwas Suryanarayanan, Barun Patra, Dimitris Samaras, Mei Chen,
• Abstract要約: 本稿では,Hummingbirdについて紹介する。 マルチモーダルコンテキストが与えられた多様性と忠実さの両方を維持するタスクに対処する最初のモデルである。 ベンチマーク実験により、ハミングバードは多様性を維持しながら優れた忠実さを達成し、既存のすべての方法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 37.37271178580171
• License:
• Abstract: While diffusion models are powerful in generating high-quality, diverse synthetic data for object-centric tasks, existing methods struggle with scene-aware tasks such as Visual Question Answering (VQA) and Human-Object Interaction (HOI) Reasoning, where it is critical to preserve scene attributes in generated images consistent with a multimodal context, i.e. a reference image with accompanying text guidance query. To address this, we introduce Hummingbird, the first diffusion-based image generator which, given a multimodal context, generates highly diverse images w.r.t. the reference image while ensuring high fidelity by accurately preserving scene attributes, such as object interactions and spatial relationships from the text guidance. Hummingbird employs a novel Multimodal Context Evaluator that simultaneously optimizes our formulated Global Semantic and Fine-grained Consistency Rewards to ensure generated images preserve the scene attributes of reference images in relation to the text guidance while maintaining diversity. As the first model to address the task of maintaining both diversity and fidelity given a multimodal context, we introduce a new benchmark formulation incorporating MME Perception and Bongard HOI datasets. Benchmark experiments show Hummingbird outperforms all existing methods by achieving superior fidelity while maintaining diversity, validating Hummingbird's potential as a robust multimodal context-aligned image generator in complex visual tasks.
• Abstract（参考訳）: 拡散モデルは、オブジェクト中心のタスクのための高品質で多様な合成データを生成するのに強力であるが、既存の手法は、VQA (Visual Question Answering) やHuman-Object Interaction (HOI) Reasoning (Human-Object Interaction) Reasoning (HOI) Reasoning(英語版) のようなシーン認識タスクと競合する。 そこで本研究では,マルチモーダルなコンテキストを与えられた最初の拡散型画像生成装置であるHummingbirdを紹介し,テキストガイダンスからオブジェクトの相互作用や空間的関係などのシーン特性を正確に保存し,高い忠実度を確保しつつ,高度に多様な画像を生成する。 ハミングバードは、我々の定式化されたグローバルセマンティック・ファイングラニュアル・コンシステンシー・リワードを同時に最適化する新しいマルチモーダル・コンテキスト評価器を採用し、多様性を維持しつつ、テキストガイダンスに関連する参照画像のシーン特性を確実に保存する。 MMEパーセプションとBongard HOIデータセットを組み込んだ新しいベンチマーク定式化を導入する。 ベンチマーク実験により、Hummingbirdは多様性を維持しながら優れた忠実さを達成し、複雑な視覚タスクにおいて堅牢なマルチモーダルなコンテキスト整列画像生成者としての可能性を検証することにより、既存のすべての手法よりも優れていることが示された。

関連論文リスト

• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• CoMM: A Coherent Interleaved Image-Text Dataset for Multimodal Understanding and Generation [20.106207598099363]
  我々は、生成したマルチモーダルコンテンツの一貫性、一貫性、アライメントを高めるために設計された高品質なデータセットであるCoMMを紹介する。 CoMMは、教育内容とビジュアルストーリーテリングに焦点を当て、多様なソースからの生データを活用する。 さまざまな品質評価指標は、フィルタされたデータセットの高品質さを証明するように設計されている。
  論文  参考訳（メタデータ） (2024-06-15T01:27:58Z)
• MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance [6.4680449907623006]
  本研究では,マルチオブジェクトを用いたレイアウト誘導ゼロショット画像パーソナライズのためのMS-Diffusionフレームワークを提案する。 提案した多目的クロスアテンションオーケストラは、テキストの制御を保ちながら、オブジェクト間コンポジションを編成する。
  論文  参考訳（メタデータ） (2024-06-11T12:32:53Z)
• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• JourneyDB: A Benchmark for Generative Image Understanding [89.02046606392382]
  生成画像の領域に適合する包括的データセットであるJourneyDBを導入する。 精巧にキュレートされたデータセットは、400万の異なる高品質な画像で構成されています。 本データセットでは,生成した画像の理解性能を評価するための4つのベンチマークを考案した。
  論文  参考訳（メタデータ） (2023-07-03T02:39:08Z)
• HGAN: Hierarchical Graph Alignment Network for Image-Text Retrieval [13.061063817876336]
  画像テキスト検索のための階層型グラフアライメントネットワーク(HGAN)を提案する。 まず、包括的マルチモーダル特徴を捉えるために、画像の特徴グラフとテキストのモダリティをそれぞれ構築する。 そして、MFAR(Multi-granularity Feature Aggregation and Rearrangement)モジュールを設計した多粒性共有空間を構築する。 最後に、最終的な画像とテキストの特徴は、階層的アライメントを達成するために、3レベル類似関数によってさらに洗練される。
  論文  参考訳（メタデータ） (2022-12-16T05:08:52Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)
• Generating Annotated High-Fidelity Images Containing Multiple Coherent Objects [10.783993190686132]
  コンテキスト情報を明示的に必要とせずに、複数のオブジェクトで画像を合成できるマルチオブジェクト生成フレームワークを提案する。 我々は,Multi-MNISTおよびCLEVRデータセットを用いた実験により,コヒーレンシーと忠実さの保存方法を示す。
  論文  参考訳（メタデータ） (2020-06-22T11:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。