論文の概要: Capability-aware Prompt Reformulation Learning for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2403.19716v1
• Date: Wed, 27 Mar 2024 17:41:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 17:43:20.194385
• Title: Capability-aware Prompt Reformulation Learning for Text-to-Image Generation
• Title（参考訳）: テキスト・画像生成のための能力認識型プロンプト改革学習
• Authors: Jingtao Zhan, Qingyao Ai, Yiqun Liu, Jia Chen, Shaoping Ma,
• Abstract要約: テキスト・ツー・イメージ・ジェネレーション・システムは、芸術的創造の領域において革命的なツールとして登場した。 これらのシステムの有効性は、ユーザが提供するプロンプトの品質と密接に関連している。 本稿では,対話ログからユーザ更新データを活用して,自動的なプロンプト更新モデルを構築することで,この問題に対処する。
• 参考スコア（独自算出の注目度）: 27.64387456368074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image generation systems have emerged as revolutionary tools in the realm of artistic creation, offering unprecedented ease in transforming textual prompts into visual art. However, the efficacy of these systems is intricately linked to the quality of user-provided prompts, which often poses a challenge to users unfamiliar with prompt crafting. This paper addresses this challenge by leveraging user reformulation data from interaction logs to develop an automatic prompt reformulation model. Our in-depth analysis of these logs reveals that user prompt reformulation is heavily dependent on the individual user's capability, resulting in significant variance in the quality of reformulation pairs. To effectively use this data for training, we introduce the Capability-aware Prompt Reformulation (CAPR) framework. CAPR innovatively integrates user capability into the reformulation process through two key components: the Conditional Reformulation Model (CRM) and Configurable Capability Features (CCF). CRM reformulates prompts according to a specified user capability, as represented by CCF. The CCF, in turn, offers the flexibility to tune and guide the CRM's behavior. This enables CAPR to effectively learn diverse reformulation strategies across various user capacities and to simulate high-capability user reformulation during inference. Extensive experiments on standard text-to-image generation benchmarks showcase CAPR's superior performance over existing baselines and its remarkable robustness on unseen systems. Furthermore, comprehensive analyses validate the effectiveness of different components. CAPR can facilitate user-friendly interaction with text-to-image systems and make advanced artistic creation more achievable for a broader range of users.
• Abstract（参考訳）: テキスト・ツー・イメージ生成システムは、芸術的創造の領域において革命的なツールとして登場し、テキスト・プロンプトを視覚芸術に変えるのに前代未聞の容易さを提供する。 しかしながら、これらのシステムの有効性は、ユーザが提供するプロンプトの品質と密接に関連しているため、プロンプト作成に慣れていないユーザには、しばしば課題となる。 本稿では,対話ログからユーザ更新データを活用して,自動的なプロンプト更新モデルを構築することで,この問題に対処する。 これらのログの詳細な分析により、利用者の即時改定は個々の利用者の能力に大きく依存していることが明らかとなり、その結果、改定ペアの品質にかなりのばらつきが生じる。 このデータを効果的にトレーニングするために,我々はCAPR(Capability-Aware Prompt Reformulation)フレームワークを導入する。 CAPRは、条件付き改革モデル(CRM)と構成可能な機能機能(CCF)という2つの重要なコンポーネントを通じて、ユーザ機能を革新的に改革プロセスに統合します。 CRMは、CCFで表される特定のユーザ機能に従ってプロンプトをリフォームする。 CCFは、CRMの振る舞いをチューニングし、ガイドする柔軟性を提供します。 これにより、CAPRは、多様なユーザ能力にわたる多様なリフォーム戦略を効果的に学習し、推論中に高機能なユーザリフォームをシミュレートすることができる。 標準のテキスト・画像生成ベンチマークに関する大規模な実験は、CAPRが既存のベースラインよりも優れた性能と、目に見えないシステムに対する顕著な堅牢性を示している。 さらに、包括的分析により、異なる成分の有効性が検証される。 CAPRは、テキストと画像のシステムとのユーザフレンドリーな対話を容易にし、より広い範囲のユーザにとって高度な芸術的創造をより達成できるようにする。

関連論文リスト

• Enabling Real-Time Conversations with Minimal Training Costs [61.80370154101649]
  本稿では,2つの言語モデルに対して,最小限の訓練を要し,2つの言語能力を持つ新しい重複復号法を提案する。 実験結果から,本手法はトレーニングコストの最小化とともに,ユーザとAIのインタラクションの自然性と人間的類似性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-09-18T06:27:26Z)
• SHAPE-IT: Exploring Text-to-Shape-Display for Generative Shape-Changing Behaviors with LLMs [12.235304780960142]
  本稿では,自然言語コマンドによるピン型形状変化を動的に生成する新しい手法であるテキスト・トゥ・シェイプ・ディスプレイを提案する。 大規模言語モデル(LLM)とAIチェーンを利用することで、ユーザはプログラミングなしでテキストプロンプトを通じて、要求に応じて形状を変える動作を記述できる。
  論文  参考訳（メタデータ） (2024-09-10T04:18:49Z)
• CA-BERT: Leveraging Context Awareness for Enhanced Multi-Turn Chat Interaction [2.3178408584843906]
  本稿では, この課題に対処するために, 変換器をベースとしたモデルである Context-Aware BERT (CA-BERT) を紹介する。 本稿では,チャット対話の特別なデータセットに焦点をあてた新しいトレーニング手法により,BERTの堅牢なアーキテクチャを適応させるCA-BERTの開発について述べる。 このモデルはコンテキスト要求を分類する能力に基づいて評価され、精度と効率の点でベースラインBERTモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-05T06:27:59Z)
• Reflective Human-Machine Co-adaptation for Enhanced Text-to-Image Generation Dialogue System [7.009995656535664]
  我々はRHM-CASという,人間と機械の協調適応戦略を提案する。 外部では、Agentはユーザが生成した画像を反映して洗練するために、意味のある言語インタラクションに従事します。 内部的には、エージェントはユーザーの好みに基づいてポリシーを最適化し、最終的な結果がユーザの好みと密接に一致することを保証する。
  論文  参考訳（メタデータ） (2024-08-27T18:08:00Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• DLoRA-TrOCR: Mixed Text Mode Optical Character Recognition Based On Transformer [12.966765239586994]
  マルチフォント、混合シーン、複雑なレイアウトは、従来のOCRモデルの認識精度に深刻な影響を及ぼす。 本稿では,事前学習したOCR変換器,すなわちDLoRA-TrOCRに基づくパラメータ効率の良い混合テキスト認識手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:28:16Z)
• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• Clarity ChatGPT: An Interactive and Adaptive Processing System for Image Restoration and Enhancement [97.41630939425731]
  本稿では,ChatGPTの会話インテリジェンスと複数のIRE手法を組み合わせた変換システムを提案する。 ケーススタディでは、Clarity ChatGPTがIREの一般化と相互作用能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-20T11:51:13Z)
• Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment [77.56326872997407]
  事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。 トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
  論文  参考訳（メタデータ） (2023-10-12T14:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。