論文の概要: Boosting Text-To-Image Generation via Multilingual Prompting in Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2501.07086v1
• Date: Mon, 13 Jan 2025 06:41:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:26:00.042768
• Title: Boosting Text-To-Image Generation via Multilingual Prompting in Large Multimodal Models
• Title（参考訳）: 大規模マルチモーダルモデルにおける多言語プロンプティングによるテキスト・ツー・イメージ生成の促進
• Authors: Yongyu Mu, Hengyu Li, Junxin Wang, Xiaoxuan Zhou, Chenglong Wang, Yingfeng Luo, Qiaozhi He, Tong Xiao, Guocheng Chen, Jingbo Zhu,
• Abstract要約: 大規模マルチモーダルモデル(LMM)の多言語機能を活用した並列多言語プロンプトを構築する。 3つのベンチマークにおける2つのLMM実験により,提案手法であるPMT2Iが,一般に優れた性能,構成,きめ細かな評価を達成できることが判明した。
• 参考スコア（独自算出の注目度）: 43.16111789538798
• License:
• Abstract: Previous work on augmenting large multimodal models (LMMs) for text-to-image (T2I) generation has focused on enriching the input space of in-context learning (ICL). This includes providing a few demonstrations and optimizing image descriptions to be more detailed and logical. However, as demand for more complex and flexible image descriptions grows, enhancing comprehension of input text within the ICL paradigm remains a critical yet underexplored area. In this work, we extend this line of research by constructing parallel multilingual prompts aimed at harnessing the multilingual capabilities of LMMs. More specifically, we translate the input text into several languages and provide the models with both the original text and the translations. Experiments on two LMMs across 3 benchmarks show that our method, PMT2I, achieves superior performance in general, compositional, and fine-grained assessments, especially in human preference alignment. Additionally, with its advantage of generating more diverse images, PMT2I significantly outperforms baseline prompts when incorporated with reranking methods. Our code and parallel multilingual data can be found at https://github.com/takagi97/PMT2I.
• Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)生成のための大規模マルチモーダルモデル(LMM)の強化に関する研究は,テキスト内学習(ICL)の入力空間の強化に重点を置いている。 これには、いくつかのデモと、より詳細で論理的な画像記述の最適化が含まれている。 しかし、より複雑でフレキシブルな画像記述の需要が高まるにつれて、ICLパラダイムにおける入力テキストの理解の強化は依然として重要であり、未探索の領域である。 本研究では,LMMの多言語機能を活用することを目的とした並列多言語プロンプトの構築により,この研究線を拡張した。 具体的には、入力テキストを複数の言語に翻訳し、元のテキストと翻訳の両方でモデルを提供する。 3つのベンチマークにおける2つのLMM実験により,提案手法であるPMT2Iは,特にヒトの選好アライメントにおいて,総合的,構成的,きめ細かな評価において優れた性能を発揮することが示された。 さらに、より多様な画像を生成するという利点により、PMT2Iはリグレードメソッドを組み込んだ場合、ベースラインプロンプトを著しく上回っている。 我々のコードと並列多言語データはhttps://github.com/takagi97/PMT2Iで確認できる。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• jina-clip-v2: Multilingual Multimodal Embeddings for Text and Images [5.587329786636647]
  Contrastive Language-Image Pretraining (CLIP) は、画像とテキストを共有埋め込み空間で整列する非常に効果的な方法である。 CLIPモデルはテキストのみのタスクに苦しむことが多く、特殊なテキストモデルに比べてパフォーマンスが劣る。 本研究では,従来のモデルであるjina-clip-v1に基づいて,マルチタスク,マルチステージのコントラスト学習を多言語で実現した改良フレームワークを提案する。 結果として得られたモデルであるjina-clip-v2は、テキストのみのタスクとマルチモーダルタスクで前バージョンより優れており、マルチリンガルサポート、複雑なビジュアルドキュメントの理解の向上、効率の向上などが追加されている。
  論文  参考訳（メタデータ） (2024-12-11T22:28:12Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  Leopardは、複数のテキストリッチイメージを含む視覚言語タスクを扱うビジョン言語モデルである。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを開発した。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• An Empirical Study and Analysis of Text-to-Image Generation Using Large Language Model-Powered Textual Representation [21.154973705998945]
  既存のメソッドは、入力プロンプトを表現するためにCLIPモデルのテキストエンコーダを利用する。 大規模言語モデル(LLM)は多言語入力を提供し、より長いコンテキストに対応し、優れたテキスト表現を実現する。 LLMのテキスト表現を用いたテキスト・ツー・イメージモデルの高速な訓練を可能にする軽量なアダプタを提案する。
  論文  参考訳（メタデータ） (2024-05-21T16:35:02Z)
• UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion [36.06457895469353]
  UNIMO-Gは条件付き拡散フレームワークであり、インターリーブされたテキストと視覚入力を持つマルチモーダルプロンプトで動作する。 テキスト・ツー・イメージ生成とゼロショット・テーマ駆動合成の両面で優れている。
  論文  参考訳（メタデータ） (2024-01-24T11:36:44Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。