論文の概要: VASCAR: Content-Aware Layout Generation via Visual-Aware Self-Correction

• arxiv url: http://arxiv.org/abs/2412.04237v1
• Date: Thu, 05 Dec 2024 15:17:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:38.940529
• Title: VASCAR: Content-Aware Layout Generation via Visual-Aware Self-Correction
• Title（参考訳）: VASCAR:視覚的自己補正によるコンテンツ認識レイアウト生成
• Authors: Jiahao Zhang, Ryota Yoshihashi, Shunsuke Kitada, Atsuki Osanai, Yuta Nakashima,
• Abstract要約: 大規模言語モデル(LLM)は、構造記述言語を生成できるため、レイアウト生成に有効であることが証明されている。 近年,LLMプロバイダはこれらのモデルを大規模視覚言語モデル (LVLM) へと進化させ,多モーダル理解能力の顕著な向上を図っている。 LVLMに基づくレイアウト生成のためのビジュアル・アウェア・セルフコレクション・レイアウト・ジェネレーション(VASCAR)を提案する。
• 参考スコア（独自算出の注目度）: 17.546914477490585
• License:
• Abstract: Large language models (LLMs) have proven effective for layout generation due to their ability to produce structure-description languages, such as HTML or JSON, even without access to visual information. Recently, LLM providers have evolved these models into large vision-language models (LVLM), which shows prominent multi-modal understanding capabilities. Then, how can we leverage this multi-modal power for layout generation? To answer this, we propose Visual-Aware Self-Correction LAyout GeneRation (VASCAR) for LVLM-based content-aware layout generation. In our method, LVLMs iteratively refine their outputs with reference to rendered layout images, which are visualized as colored bounding boxes on poster backgrounds. In experiments, we demonstrate that our method combined with the Gemini. Without any additional training, VASCAR achieves state-of-the-art (SOTA) layout generation quality outperforming both existing layout-specific generative models and other LLM-based methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、視覚情報にアクセスしなくてもHTMLやJSONのような構造記述言語を生成できるため、レイアウト生成に有効であることが証明されている。 近年,LLMプロバイダはこれらのモデルを大規模視覚言語モデル (LVLM) へと進化させ,多モーダル理解能力の顕著な向上を図っている。 では、レイアウト生成にこのマルチモーダルパワーをどのように活用すればよいのか? そこで我々は,LVLMに基づくコンテンツ認識レイアウト生成のためのVASCAR(Visual-Aware Self-Correction Layout GeneRation)を提案する。 本手法では,LVLMは描画レイアウト画像を参照して出力を反復的に洗練し,ポスター背景に色付きバウンディングボックスとして可視化する。 実験では,この手法がGeminiと組み合わせることが実証された。 VASCARは、追加のトレーニングなしで、既存のレイアウト固有の生成モデルと他のLCMベースの方法の両方よりも優れた、最先端のSOTA(State-of-the-art)レイアウト生成品質を達成する。

関連論文リスト

• TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models [52.590072198551944]
  近年の多モーダル言語モデル(LLM)の進歩は,多モーダルな内容を理解する上で大きな成功を収めている。 ビデオ理解タスクでは、高品質でキュレートされたビデオテキストペアリングデータの不足により、トレーニングベースのビデオLLMの構築が困難である。 本研究では,トレーニングフリーのビデオ LLM 構築における既存の圧縮戦略の限界について検討する。
  論文  参考訳（メタデータ） (2024-11-17T13:08:29Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• LLMGA: Multimodal Large Language Model based Generation Assistant [53.150283805515926]
  画像生成と編集を支援するマルチモーダル大規模言語モデルベース生成アシスタント(LLMGA)を提案する。 我々はMLLMを訓練し、画像生成と編集の特性を把握し、詳細なプロンプトを生成する。 広範な結果から、LLMGAは将来的な生成と編集機能を備えており、より柔軟で拡張性の高いアプリケーションを可能にすることが示されている。
  論文  参考訳（メタデータ） (2023-11-27T13:37:26Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• Towards Versatile and Efficient Visual Knowledge Integration into Pre-trained Language Models with Cross-Modal Adapters [16.44174900423759]
  我々は,事前学習された視覚言語モデルで学習した視覚的およびテキスト的知識を活用するために,新しいプラグイン・アンド・プレイ・モジュールであるX-adapterを提案する。 提案手法は,オブジェクト指向推論および自然言語理解タスクの性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-12T10:08:46Z)
• mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [95.76661165594884]
  mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。 トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。 実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-04-27T13:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。