論文の概要: VASCAR: Content-Aware Layout Generation via Visual-Aware Self-Correction

• arxiv url: http://arxiv.org/abs/2412.04237v3
• Date: Tue, 11 Mar 2025 04:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 19:16:43.587170
• Title: VASCAR: Content-Aware Layout Generation via Visual-Aware Self-Correction
• Title（参考訳）: VASCAR:視覚的自己補正によるコンテンツ認識レイアウト生成
• Authors: Jiahao Zhang, Ryota Yoshihashi, Shunsuke Kitada, Atsuki Osanai, Yuta Nakashima,
• Abstract要約: 大規模言語モデル(LLM)は、構造記述言語を生成できるため、レイアウト生成に有効であることが証明されている。 画像が知覚できないという本質的な制限は、視覚的コンテンツを必要とするタスクにおいて、その効果を制限していると論じる。 VASCAR(Visual-Aware Self-Correction Layout Generation)を提案する。
• 参考スコア（独自算出の注目度）: 17.546914477490585
• License:
• Abstract: Large language models (LLMs) have proven effective for layout generation due to their ability to produce structure-description languages, such as HTML or JSON. In this paper, we argue that while LLMs can perform reasonably well in certain cases, their intrinsic limitation of not being able to perceive images restricts their effectiveness in tasks requiring visual content, e.g., content-aware layout generation. Therefore, we explore whether large vision-language models (LVLMs) can be applied to content-aware layout generation. To this end, inspired by the iterative revision and heuristic evaluation workflow of designers, we propose the training-free Visual-Aware Self-Correction LAyout GeneRation (VASCAR). VASCAR enables LVLMs (e.g., GPT-4o and Gemini) iteratively refine their outputs with reference to rendered layout images, which are visualized as colored bounding boxes on poster background (i.e., canvas). Extensive experiments and user study demonstrate VASCAR's effectiveness, achieving state-of-the-art (SOTA) layout generation quality. Furthermore, the generalizability of VASCAR across GPT-4o and Gemini demonstrates its versatility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、HTMLやJSONのような構造記述言語を生成できるため、レイアウト生成に有効であることが証明されている。 本稿では,LLMがある程度の精度で動作可能であるのに対して,画像認識できないという本質的な制限は,映像コンテンツ,例えばコンテンツ認識レイアウト生成に必要なタスクにおいて,その効果を制限していることを論じる。 そこで我々は,大規模視覚言語モデル (LVLM) をコンテンツ認識レイアウト生成に適用できるかどうかを検討する。 この目的のために、デザイナーの反復的なリビジョンとヒューリスティックな評価ワークフローに触発され、トレーニング不要なVisual-Aware Self-Correction LAyout GeneRation (VASCAR)を提案する。 VASCAR は LVLM (例えば GPT-4o や Gemini) の出力をレンダリングされたレイアウト画像を参照して反復的に洗練し、ポスター背景(キャンバス)に色付きバウンディングボックスとして視覚化する。 大規模な実験とユーザスタディは、VASCARの有効性を示し、最先端(SOTA)レイアウト生成品質を達成する。 さらに、GAT-4o と Gemini にまたがるVASCAR の一般化性は、その汎用性を示している。

関連論文リスト

• Language Models Can See Better: Visual Contrastive Decoding For LLM Multimodal Reasoning [15.877954360180468]
  MLLM(Multimodal Large Language Models)のトレーニングは、リソース集約型であり、様々なトレーニング制限によって制限される。 本稿では,MVCD(Modular-based Visual Contrastive Decoding)フレームワークを提案する。 我々のフレームワークは、LLMのICL(In-Context Learning)機能と、提案した視覚コントラスト・サンプル・デコーディング(CED)を活用している。 その結果、モデル精度が一貫した改善を示し、復号化戦略における有効成分をうまく説明できた。
  論文  参考訳（メタデータ） (2025-02-17T12:47:00Z)
• HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding [91.0552157725366]
  本稿では,HoVLEという新しい高性能モノリシックVLMを提案する。 視覚的入力とテキスト入力を共有空間に変換し、LLMはテキストと同じ方法で画像を処理できる。 実験の結果,HoVLEは様々なベンチマークにおいて,主要な構成モデルに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T18:59:59Z)
• TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models [52.590072198551944]
  近年の多モーダル言語モデル(LLM)の進歩は,多モーダルな内容を理解する上で大きな成功を収めている。 ビデオ理解タスクでは、高品質でキュレートされたビデオテキストペアリングデータの不足により、トレーニングベースのビデオLLMの構築が困難である。 本研究では,トレーニングフリーのビデオ LLM 構築における既存の圧縮戦略の限界について検討する。
  論文  参考訳（メタデータ） (2024-11-17T13:08:29Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• LLMGA: Multimodal Large Language Model based Generation Assistant [53.150283805515926]
  画像生成と編集を支援するマルチモーダル大規模言語モデルベース生成アシスタント(LLMGA)を提案する。 我々はMLLMを訓練し、画像生成と編集の特性を把握し、詳細なプロンプトを生成する。 広範な結果から、LLMGAは将来的な生成と編集機能を備えており、より柔軟で拡張性の高いアプリケーションを可能にすることが示されている。
  論文  参考訳（メタデータ） (2023-11-27T13:37:26Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [95.76661165594884]
  mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。 トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。 実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-04-27T13:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。