論文の概要: Beyond Atomic Layouts: Compositional Design Understanding with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.26716v1
- Date: Thu, 27 Aug 2026 07:10:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.283566
- Title: Beyond Atomic Layouts: Compositional Design Understanding with Vision-Language Models
- Title（参考訳）: 原子レイアウトを超えて:ビジョンランゲージモデルによる構成設計理解
- Abstract要約: 本稿では,20万個の実世界の複数層アノテートレイアウトのデータセットであるCoDeを紹介する。
これらの課題に対処するため,マルチモーダルアライメント(MA)と構造知覚(SP)を統合したポストトレーニングパラダイムであるMASONを提案する。
MASONはメタデータ定義された要素を視覚的要素に基底付けることで要素解釈を強化し、SPは層間要素関係をモデル化する。
- 参考スコア（独自算出の注目度）: 50.81272588822916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Layout understanding, or the interpretation of element organization, is essential for document analysis, user interface (UI) creation, and graphic design. While recent vision-language models (VLMs) excel at interpreting atomic layouts composed of independent elements, they struggle with compositional layouts that require reasoning over visually entangled elements within hierarchical multi-layer structures. In this paper, we introduce a new task, compositional layout understanding, and present CoDeLayout, a VQA dataset of ~20K real-world multi-layer layouts annotated with compositional element pairs and design intent. Through empirical analysis on CoDeLayout, we identify two key challenges for existing VLMs: semantic drift between textual metadata and visual content, and structural ambiguity in hierarchical inter-element relationships. To address these challenges, we propose MASON, a post-training paradigm that integrates multimodal alignment (MA) and structural perception (SP). MA enhances element interpretation by grounding metadata-defined elements to their visual counterparts, mitigating semantic drift, while SP models layer-aware inter-element spatial relationships to improve hierarchical understanding and reduce structural ambiguity. Experiments reveal substantial gaps in existing VLMs: even the strongest baseline, GPT-o3, achieves only 79.68% accuracy, whereas Qwen2.5-VL 7B with MASON reaches 91.66%. Notably, MASON surpasses full-data Direct Finetune using only 30% of the training data and scales better with additional data.
- Abstract（参考訳）: レイアウト理解(Layout understanding、または要素組織解釈)は、文書分析、ユーザーインターフェース(UI)作成、グラフィックデザインに不可欠である。
近年の視覚言語モデル(VLM)は、独立した要素からなる原子配置の解釈に長けているが、階層的な多層構造内の視覚的絡み合った要素の推論を必要とする構成的レイアウトに苦慮している。
本稿では,構成要素対と設計意図をアノテートした,約20Kの実世界の多層レイアウトのVQAデータセットであるCoDeLayoutを紹介する。
CoDeLayoutの実証分析を通じて,既存のVLMにおいて,テキストメタデータと視覚コンテンツ間の意味的ドリフトと階層的要素間関係における構造的あいまいさの2つの重要な課題を特定する。
これらの課題に対処するため,マルチモーダルアライメント(MA)と構造知覚(SP)を統合したポストトレーニングパラダイムであるMASONを提案する。
MAは、メタデータ定義要素を視覚的要素に基底付け、セマンティックドリフトを緩和し、SPは階層的理解を改善し、構造的あいまいさを低減するために、階層的な要素間空間関係をモデル化する。
最も強いベースラインであるGPT-o3でさえ79.68%の精度しか達成していないのに対し、Qwen2.5-VL 7BとMASONは91.66%に達した。
特に、MASONはトレーニングデータの30%のみを使用して、フルデータのDirect Finetuneを超越し、追加データでさらにスケールする。
関連論文リスト
- Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。
RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。
GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-25T01:33:19Z) - PARL: Position-Aware Relation Learning Network for Document Layout Analysis [23.497081928689525]
効果的なレイアウト解析は,テキストと視覚の融合ではなく,文書の本質的な視覚構造を深く理解することに依存する。
位置感度とリレーショナル構造を用いてレイアウトをモデル化する新しいOCRフリー・ビジョンオンリーのフレームワークを提案する。
実験により、PARL (65M) は大規模マルチモーダルモデルより約4倍少ないパラメータを用いて非常に効率的であることが示されている。
論文 参考訳（メタデータ） (2026-01-12T15:05:35Z) - DisCo-Layout: Disentangling and Coordinating Semantic and Physical Refinement in a Multi-Agent Framework for 3D Indoor Layout Synthesis [76.7196710324494]
3次元屋内レイアウト合成は仮想環境構築に不可欠である。
DisCoは、物理的および意味的な洗練を歪め、調整する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-02T16:30:37Z) - ReLayout: Integrating Relation Reasoning for Content-aware Layout Generation with Multi-modal Large Language Models [7.288330685534444]
我々はReを導入する。ReはRelation-CoTを利用してより合理的で一貫性のあるレイアウトを生成する新しい手法である。
具体的には、要素間の領域、完全性、マージンといった明示的な関係定義を導入することで、レイアウトアノテーションを強化する。
また、3次元にわたるレイアウトプロトタイプ機能を定義し、異なるレイアウトスタイルを定量化するレイアウトプロトタイプサンプルも導入する。
論文 参考訳（メタデータ） (2025-07-08T01:13:43Z) - Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models [19.054780489639793]
本稿では,プログレッシブ・マルチグラニュラー・ビジョン・ランゲージアライメント(PromViL)を紹介する。
提案手法は, 単純な概念から複雑な概念まで, 多モードアライメントの階層構造を構築する。
テキスト記述と対応する視覚領域を段階的に整合させることで,低レベルからの文脈情報を活用して高レベルな推論を行う。
論文 参考訳（メタデータ） (2024-12-11T06:21:33Z) - GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts [53.568057283934714]
本稿では,コンテンツ対応のテキストロゴレイアウトを生成するVLM(Vision-Language Model)ベースのフレームワークを提案する。
本稿では,複数のグリフ画像を同時に処理するための計算コストを削減する2つのモデル手法を提案する。
本モデルでは,既存の公開データセットの5倍の広義のテキストロゴデータセットを2つ構築する。
論文 参考訳（メタデータ） (2024-11-18T10:04:10Z) - ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。
本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。
私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
論文 参考訳（メタデータ） (2024-09-12T16:46:41Z) - Enhancing Visually-Rich Document Understanding via Layout Structure
Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。
我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文 参考訳（メタデータ） (2023-08-15T13:53:52Z) - Support-set based Multi-modal Representation Enhancement for Video
Captioning [121.70886789958799]
サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。
具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。
本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
論文 参考訳（メタデータ） (2022-05-19T03:40:29Z) - MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。
視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。
我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
論文 参考訳（メタデータ） (2022-01-25T22:30:54Z) - VSR: A Unified Framework for Document Layout Analysis combining Vision,
Semantics and Relations [40.721146438291335]
視覚、意味論、関係性を組み合わせた文書レイアウト解析のための統一フレームワークVSRを提案する。
人気のある3つのベンチマークでは、vsrは以前のモデルを大きく上回っている。
論文 参考訳（メタデータ） (2021-05-13T12:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。