論文の概要: Multimodal Markup Document Models for Graphic Design Completion

• arxiv url: http://arxiv.org/abs/2409.19051v1
• Date: Fri, 27 Sep 2024 18:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:40:55.505949
• Title: Multimodal Markup Document Models for Graphic Design Completion
• Title（参考訳）: 図形設計完了のためのマルチモーダルマークアップ文書モデル
• Authors: Kotaro Kikuchi, Naoto Inoue, Mayu Otani, Edgar Simo-Serra, Kota Yamaguchi,
• Abstract要約: 本稿では,マルチモーダル文書内のマークアップ言語と画像の両方を生成可能なマルチモーダルマークアップ文書モデル(MarkupDM)を提案する。 既存のヴィジュアル・アンド・ランゲージのマルチモーダルモデルとは異なり、MarkupDMはグラフィックデザインタスクに不可欠なユニークな課題に取り組む。 我々は,多彩なサイズの画像を透過的にトークン化し,マークアップ言語を処理し,画像モダリティを組み込むためのコード言語モデルを修正するために,画像量化器を設計する。
• 参考スコア（独自算出の注目度）: 23.009208137043178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents multimodal markup document models (MarkupDM) that can generate both markup language and images within interleaved multimodal documents. Unlike existing vision-and-language multimodal models, our MarkupDM tackles unique challenges critical to graphic design tasks: generating partial images that contribute to the overall appearance, often involving transparency and varying sizes, and understanding the syntax and semantics of markup languages, which play a fundamental role as a representational format of graphic designs. To address these challenges, we design an image quantizer to tokenize images of diverse sizes with transparency and modify a code language model to process markup languages and incorporate image modalities. We provide in-depth evaluations of our approach on three graphic design completion tasks: generating missing attribute values, images, and texts in graphic design templates. Results corroborate the effectiveness of our MarkupDM for graphic design tasks. We also discuss the strengths and weaknesses in detail, providing insights for future research on multimodal document generation.
• Abstract（参考訳）: 本稿では,マルチモーダル文書内のマークアップ言語と画像の両方を生成可能なマルチモーダルマークアップ文書モデル(MarkupDM)を提案する。 既存のビジョン・アンド・ランゲージのマルチモーダルモデルとは異なり、マークアップDMは、全体的な外観に寄与する部分的な画像を生成し、しばしば透明性とサイズの変化を伴い、マークアップ言語の構文と意味を理解し、グラフィックデザインの表現形式として基本的な役割を担っている。 これらの課題に対処するために,さまざまなサイズの画像を透過的にトークン化するための画像量子化器を設計し,マークアップ言語を処理するためのコード言語モデルを修正し,画像のモダリティを組み込む。 本稿では,3つの図形設計完了タスクにおいて,図形設計テンプレートに欠落した属性値,画像,テキストを生成する手法について,詳細な評価を行う。 その結果、グラフィックデザインタスクにおけるマークアップDMの有効性が裏付けられた。 また、その長所や短所についても詳しく論じ、今後のマルチモーダル文書生成研究への洞察を提供する。

関連論文リスト

• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  Leopardは、複数のテキストリッチイメージを含む視覚言語タスクを扱うビジョン言語モデルである。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを開発した。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• SEED-Story: Multimodal Long Story Generation with Large Language Model [66.37077224696242]
  SEED-Storyは、MLLM(Multimodal Large Language Model)を利用して拡張マルチモーダルストーリーを生成する新しい手法である。 マルチモーダルアテンションシンク機構を提案し,最大25個のストーリー(トレーニング用10個)を高い効率で自動回帰的に生成する。 本稿では,大規模かつ高解像度なStoryStreamというデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-11T17:21:03Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は、大規模な実験を行い、パブリックなマルチモーダルレイアウト生成ベンチマーク上で、最先端(SOTA)性能を達成した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• StrucTexTv3: An Efficient Vision-Language Model for Text-rich Image Perception, Comprehension, and Beyond [68.0107158115377]
  我々は、テキストリッチな画像のための様々なインテリジェントなタスクに取り組むために、効率的な視覚言語モデルStrucTexTv3を開発した。 学習を通してStrucTexTv3の知覚と理解能力を高める。 提案手法は,テキストに富んだ画像認識タスクでSOTAを達成し,理解タスクの性能を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-05-31T16:55:04Z)
• COLE: A Hierarchical Generation Framework for Multi-Layered and Editable Graphic Design [39.809852329070466]
  本稿では,これらの課題に対処するために設計された階層型生成フレームワークであるCOLEシステムを紹介する。 このCOLEシステムは、曖昧な意図のプロンプトを高品質な多層グラフィック設計に変換すると同時に、ユーザ入力に基づく柔軟な編集をサポートする。
  論文  参考訳（メタデータ） (2023-11-28T17:22:17Z)
• InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
  我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。 InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
  論文  参考訳（メタデータ） (2023-09-30T14:26:43Z)
• Towards Flexible Multi-modal Document Models [27.955214767628107]
  本研究では,様々な設計課題を共同で解決できる包括的モデルの構築を試みる。 われわれのモデルはFlexDMで表され、ベクトルグラフィック文書をマルチモーダル要素の調和した集合として扱う。 実験の結果、我々の単一のFlexDMが様々な設計タスクをうまく解決できることがわかった。
  論文  参考訳（メタデータ） (2023-03-31T17:59:56Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。