論文の概要: LayoutPrompter: Awaken the Design Ability of Large Language Models
- arxiv url: http://arxiv.org/abs/2311.06495v1
- Date: Sat, 11 Nov 2023 07:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 18:21:53.777981
- Title: LayoutPrompter: Awaken the Design Ability of Large Language Models
- Title(参考訳): LayoutPrompter: 大規模言語モデルの設計能力の覚醒
- Authors: Jiawei Lin, Jiaqi Guo, Shizhao Sun, Zijiang James Yang, Jian-Guang
Lou, Dongmei Zhang
- Abstract要約: ユーザの制約を自動的に高品質なレイアウトにマッピングする条件付きグラフィックレイアウト生成が,今日,注目を集めている。
本稿では,LyoutPrompterを提案する。LyoutPrompterは大規模言語モデル(LLM)を利用して,テキスト内学習によって上記の問題に対処する。
layoutPrompterは、入力出力シリアライゼーション、動的例選択、レイアウトランキングという3つの重要なコンポーネントで構成されている。
- 参考スコア(独自算出の注目度): 46.6946399858818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional graphic layout generation, which automatically maps user
constraints to high-quality layouts, has attracted widespread attention today.
Although recent works have achieved promising performance, the lack of
versatility and data efficiency hinders their practical applications. In this
work, we propose LayoutPrompter, which leverages large language models (LLMs)
to address the above problems through in-context learning. LayoutPrompter is
made up of three key components, namely input-output serialization, dynamic
exemplar selection and layout ranking. Specifically, the input-output
serialization component meticulously designs the input and output formats for
each layout generation task. Dynamic exemplar selection is responsible for
selecting the most helpful prompting exemplars for a given input. And a layout
ranker is used to pick the highest quality layout from multiple outputs of
LLMs. We conduct experiments on all existing layout generation tasks using four
public datasets. Despite the simplicity of our approach, experimental results
show that LayoutPrompter can compete with or even outperform state-of-the-art
approaches on these tasks without any model training or fine-tuning. This
demonstrates the effectiveness of this versatile and training-free approach. In
addition, the ablation studies show that LayoutPrompter is significantly
superior to the training-based baseline in a low-data regime, further
indicating the data efficiency of LayoutPrompter. Our project is available at
https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.
- Abstract(参考訳): ユーザの制約を高品質なレイアウトに自動マッピングする条件付きグラフィックレイアウト生成が,今日では広く注目を集めている。
最近の研究は有望な性能を達成しているが、汎用性とデータ効率の欠如は実用的応用を妨げる。
そこで本研究では,大規模言語モデル(LLM)を活用したLayoutPrompterを提案する。
LayoutPrompterは、入力出力シリアライゼーション、動的指数選択、レイアウトランキングという3つの重要なコンポーネントで構成されている。
具体的には、入力出力シリアライゼーションコンポーネントは、各レイアウト生成タスクの入力および出力フォーマットを慎重に設計する。
動的例題選択は、与えられた入力に対して最も有用な例題を選択する責任がある。
LLMの複数の出力から最高品質のレイアウトを選択するためにレイアウトローダが使用される。
4つの公開データセットを用いて既存のレイアウト生成タスクをすべて実験する。
このアプローチの単純さにもかかわらず、実験結果から、LayoutPrompterはモデルトレーニングや微調整なしに、これらのタスクにおける最先端のアプローチと競合したり、性能を上回ります。
これは、この多用途でトレーニングフリーなアプローチの有効性を示しています。
さらに,レイアウトプロンプターは低データ状態におけるトレーニングベースベースラインよりも有意に優れており,レイアウトプロンプターのデータ効率も向上している。
私たちのプロジェクトはhttps://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompterで利用可能です。
関連論文リスト
- LAMM: Label Alignment for Multi-Modal Prompt Learning [17.478967970736115]
我々は、下流データセットのカテゴリ埋め込みをエンドツーエンドのトレーニングによって調整できる、textbfLAMMという革新的なラベルアライメント手法を提案する。
本手法は,既存のマルチモーダル・プロンプト学習モデルの性能を大幅に向上させる。
提案手法は,他の素早いチューニング手法と比較して,連続学習の優位性を示す。
論文 参考訳(メタデータ) (2023-12-13T15:29:52Z) - PosterLayout: A New Benchmark and Approach for Content-aware
Visual-Textual Presentation Layout [62.12447593298437]
コンテンツ対応視覚テキスト提示レイアウトは,所定のキャンバス上の空間空間を予め定義された要素にアレンジすることを目的としている。
本稿では,設計過程を模倣するためにレイアウトの要素を再編成する設計シーケンス形成(DSF)を提案する。
CNN-LSTMに基づく新しい条件生成対向ネットワーク(GAN)を提示し、適切なレイアウトを生成する。
論文 参考訳(メタデータ) (2023-03-28T12:48:36Z) - Patch-Token Aligned Bayesian Prompt Learning for Vision-Language Models [48.37786467926044]
ラベル固有のプロンプトを階層的に生成する。
我々は視覚知識と画像とそれに対応するプロンプトを最適輸送下でパッチやトークンセットとして意味的に正規化する。
提案手法は,インスタンス条件付きプロンプトを生成して一般化性を向上させる条件付きケースに容易に拡張できる。
論文 参考訳(メタデータ) (2023-03-16T06:09:15Z) - Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。
実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。
我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
論文 参考訳(メタデータ) (2023-03-06T06:04:46Z) - ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich
Document Understanding [52.3895498789521]
レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。
まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。
実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
論文 参考訳(メタデータ) (2022-10-12T12:59:24Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳(メタデータ) (2020-10-10T14:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。