論文の概要: Reflective Human-Machine Co-adaptation for Enhanced Text-to-Image Generation Dialogue System

• arxiv url: http://arxiv.org/abs/2409.07464v1
• Date: Tue, 27 Aug 2024 18:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-15 05:01:16.839712
• Title: Reflective Human-Machine Co-adaptation for Enhanced Text-to-Image Generation Dialogue System
• Title（参考訳）: テキスト対画像生成対話システムのための反射的ヒューマン・マシン協調適応
• Authors: Yuheng Feng, Yangfan He, Yinghui Xia, Tianyu Shi, Jun Wang, Jinsong Yang,
• Abstract要約: 我々はRHM-CASという,人間と機械の協調適応戦略を提案する。 外部では、Agentはユーザが生成した画像を反映して洗練するために、意味のある言語インタラクションに従事します。 内部的には、エージェントはユーザーの好みに基づいてポリシーを最適化し、最終的な結果がユーザの好みと密接に一致することを保証する。
• 参考スコア（独自算出の注目度）: 7.009995656535664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Today's image generation systems are capable of producing realistic and high-quality images. However, user prompts often contain ambiguities, making it difficult for these systems to interpret users' potential intentions. Consequently, machines need to interact with users multiple rounds to better understand users' intents. The unpredictable costs of using or learning image generation models through multiple feedback interactions hinder their widespread adoption and full performance potential, especially for non-expert users. In this research, we aim to enhance the user-friendliness of our image generation system. To achieve this, we propose a reflective human-machine co-adaptation strategy, named RHM-CAS. Externally, the Agent engages in meaningful language interactions with users to reflect on and refine the generated images. Internally, the Agent tries to optimize the policy based on user preferences, ensuring that the final outcomes closely align with user preferences. Various experiments on different tasks demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 今日の画像生成システムは、現実的で高品質な画像を生成することができる。 しかし、ユーザプロンプトには曖昧さがしばしば含まれており、ユーザの潜在的な意図を解釈することが困難である。 そのため、マシンはユーザの意図をよりよく理解するために、複数のラウンドでユーザと対話する必要がある。 複数のフィードバックインタラクションによる画像生成モデルの使用または学習の予測不可能なコストは、広く採用され、特に専門家でないユーザにとって、パフォーマンスのポテンシャルを損なう。 本研究では,画像生成システムのユーザフレンドリ性を高めることを目的とする。 そこで本研究では,RHM-CASという,人間と機械の協調的適応戦略を提案する。 外部では、Agentはユーザが生成した画像を反映して洗練するために、意味のある言語インタラクションを行う。 内部的には、エージェントはユーザーの好みに基づいてポリシーを最適化し、最終的な結果がユーザの好みと密接に一致することを保証する。 異なるタスクに対する様々な実験により,提案手法の有効性が示された。

関連論文リスト

• What Do You Want? User-centric Prompt Generation for Text-to-image Synthesis via Multi-turn Guidance [23.411806572667707]
  テキスト・ツー・イメージ合成(TIS)モデルは、テキスト・プロンプトの品質と特異性に大きく依存している。 既存のソリューションは、ユーザクエリから自動モデル優先のプロンプト生成を通じてこれを緩和する。 ユーザ中心性を重視したマルチターン対話型TISプロンプト生成モデルであるDialPromptを提案する。
  論文  参考訳（メタデータ） (2024-08-23T08:35:35Z)
• Prompt Refinement with Image Pivot for Text-to-Image Generation [103.63292948223592]
  テキスト・ツー・イメージ生成のための画像Pivot(PRIP)を用いたPrompt Refinementを提案する。 PRIPは精細化処理を2つのデータリッチなタスクに分解する。 これは幅広いベースラインを著しく上回り、ゼロショット方式で見えないシステムに効果的に転送する。
  論文  参考訳（メタデータ） (2024-06-28T22:19:24Z)
• Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
  VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。 我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
  論文  参考訳（メタデータ） (2024-04-23T14:53:15Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• Human Learning by Model Feedback: The Dynamics of Iterative Prompting with Midjourney [28.39697076030535]
  本稿では,そのようなイテレーションに沿ってユーザプロンプトのダイナミクスを解析する。 これらのイテレーションに沿った特定の特性に対して、プロンプトが予測通りに収束することを示します。 ユーザがモデルの好みに適応する可能性は、さらなるトレーニングのためにユーザデータの再利用に関する懸念を提起する。
  論文  参考訳（メタデータ） (2023-11-20T19:28:52Z)
• AgentCF: Collaborative Learning with Autonomous Language Agents for Recommender Systems [112.76941157194544]
  本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。 我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。 全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-13T16:37:14Z)
• Promptify: Text-to-Image Generation through Interactive Prompt Exploration with Large Language Models [29.057923932305123]
  本稿では,テキスト・ツー・イメージ生成モデルの迅速な探索と改良を支援する対話型システムであるPromptifyを提案する。 本稿では,Promptifyがテキスト・ツー・イメージ・ワークフローを効果的に促進し,テキスト・ツー・イメージ生成に広く使用されている既存のベースライン・ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-18T22:59:11Z)
• FaIRCoP: Facial Image Retrieval using Contrastive Personalization [43.293482565385055]
  属性から顔画像を取得することは、顔認識や被疑者識別などの様々なシステムにおいて重要な役割を果たす。 既存の方法は、ユーザのメンタルイメージの特定の特徴を、提案した画像と比較することで実現している。 そこで本研究では,ユーザのフィードバックを用いて,対象画像と類似あるいは異な画像とラベル付けする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-28T09:52:09Z)
• Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
  本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。 これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。 本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
  論文  参考訳（メタデータ） (2020-06-19T20:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。