論文の概要: Giraffe: A Mapping Architecture from Hidden Text Representations to Visual Embeddings for Efficient Graphic Design

• arxiv url: http://arxiv.org/abs/2608.23970v1
• Date: Tue, 25 Aug 2026 01:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.747637
• Title: Giraffe: A Mapping Architecture from Hidden Text Representations to Visual Embeddings for Efficient Graphic Design
• Title（参考訳）: Giraffe:効率的なグラフィックデザインのための隠れテキスト表現からビジュアル埋め込みへのマッピングアーキテクチャ
• Abstract要約: 近年のアプローチでは、トークン列の隠れ表現を視覚モデルの埋め込み空間に変換することによってギャップを埋めようとしている。 視覚モデルの埋め込み空間に隠されたトークンレプレンス・テーションをマッピングする新しいアーキテクチャを提案する。 強いパーフォルマンスは、イメージ・ツー・デザインとテキスト・ツー・デザインの両方のタスクで示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have made significant progress in understanding and interpreting mul- timedia content. However, their ability to generate me- dia remains limited. Recent approaches have attempted to bridge this gap by translating the hidden representations of token sequences into the embedding space of visual models or directly into raw image data. However, these methods often represent each image using multiple specialised to- kens which significantly increases the input length. This be- comes a major limitation for tasks such as graphic design generation where the output typically involves a seamless blend of thousands of tokens across text, multiple images, and layout information. To address this challenge, a novel architecture is proposed that maps hidden token represen- tations to the embedding space of visual models, such as CLIP ViT-L/14, using a single [IMG] token per image. The architecture employs two shallow MLP blocks, each with a separate compression module followed by a shared expan- sion module, trained with six distinct loss functions. One block aids the other during training and is omitted during inference, resulting in a lightweight solution. Strong perfor- mance is demonstrated in both image-to-design and text-to- design generation tasks.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は, マルチタイムダイア内容の理解と解釈において大きな進歩を遂げている。 しかし、メジアを生産する能力は依然として限られている。 近年のアプローチでは、トークンシーケンスの隠された表現を視覚モデルの埋め込み空間や生画像データに直接変換することで、このギャップを埋めようとしている。 しかし、これらの手法は、入力長を大幅に増加させる複数の特殊化されたTo-ケンを用いて、各画像を表すことが多い。 出力は通常、テキスト、複数の画像、レイアウト情報に何千ものトークンをシームレスに混ぜて出力するグラフィックデザイン生成のようなタスクに対して、このbe-は大きな制限となる。 この課題に対処するために、CLIP ViT-L/14のような視覚モデルの埋め込み空間に隠れトークンのreresen-tationsを1つの[IMG]トークンでマッピングする新しいアーキテクチャが提案されている。 アーキテクチャには2つの浅いMLPブロックがあり、それぞれに別々の圧縮モジュールと6つの損失関数で訓練された共有拡張バージョンモジュールがある。 1つのブロックは、トレーニング中にもう1つのブロックを助け、推論中に省略され、結果として軽量なソリューションとなる。 強いパーフォルマンスは、イメージ・ツー・デザインとテキスト・ツー・デザインの両方のタスクで示される。

関連論文リスト

• Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation [19.404516863003057]
  INSETは、テキスト命令内にネイティブ語彙として画像をシームレスに埋め込む統合生成モデルである。 本稿では,標準画像およびビデオデータセットから1500万件の高品質なインターリーブ付きサンプルを合成するスケーラブルなデータエンジンを提案する。 InterleaveBenchの結果は、INSETがマルチイメージの一貫性とテキストアライメントにおいて最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T15:54:49Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding [103.05835688963947]
  本稿では,高解像度文書画像を324個のトークンに圧縮する高解像度DocCompressorモジュールを提案する。 DocOwl2は、マルチページ文書理解ベンチマークにまたがる最先端の新たなベンチマークを設定し、最初のトークンレイテンシを50%以上削減する。 同様のデータで訓練されたシングルイメージMLLMと比較して、DocOwl2はビジュアルトークンの20%未満で、同等のシングルページ理解性能を実現しています。
  論文  参考訳（メタデータ） (2024-09-05T11:09:00Z)
• AdaptVision: Dynamic Input Scaling in MLLMs for Versatile Scene Understanding [96.01726275876548]
  本稿では,様々な解像度の入力画像を動的に処理するマルチモーダルな大規模言語モデルAdaptVisionを提案する。 画像のサイズやアスペクト比に応じて視覚トークンの数を調整する動的画像分割モジュールを考案する。 私たちのモデルは、解像度1008倍の1008ドルまでの画像を処理できます。
  論文  参考訳（メタデータ） (2024-08-30T03:16:49Z)
• Matryoshka Multimodal Models [92.41824727506751]
  我々はM3: Matryoshka Multimodal Modelsを提案する。 COCOスタイルのベンチマークでは,576個のトークンを使用する場合と同様の精度を得るために,9個のビジュアルトークンしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2024-05-27T17:59:56Z)
• MM-Interleaved: Interleaved Image-Text Generative Modeling via Multi-modal Feature Synchronizer [106.79844459065828]
  本稿では,画像テキストデータのエンドツーエンド生成モデルであるMM-Interleavedを提案する。 マルチスケールおよびマルチイメージ機能同期モジュールを導入し、以前のコンテキストできめ細かい画像機能に直接アクセスできるようにする。 MM-Interleavedはマルチモーダルな指示に従って視覚的詳細を認識し、テキストと視覚の両方の条件に従って一貫した画像を生成する。
  論文  参考訳（メタデータ） (2024-01-18T18:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。