論文の概要: Aligning Text-to-Image Models using Human Feedback
- arxiv url: http://arxiv.org/abs/2302.12192v1
- Date: Thu, 23 Feb 2023 17:34:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 14:11:08.487607
- Title: Aligning Text-to-Image Models using Human Feedback
- Title(参考訳): 人間のフィードバックによるテキスト対画像モデルの整合
- Authors: Kimin Lee, Hao Liu, Moonkyung Ryu, Olivia Watkins, Yuqing Du, Craig
Boutilier, Pieter Abbeel, Mohammad Ghavamzadeh, Shixiang Shane Gu
- Abstract要約: 現在のテキスト・ツー・イメージモデルは、しばしばテキスト・プロンプトと不適切に一致した画像を生成する。
そこで本研究では,人間のフィードバックを用いて,そのようなモデルを調整するための微調整手法を提案する。
その結果,人間のフィードバックから学び,テキスト・ツー・イメージ・モデルを大幅に改善する可能性が示された。
- 参考スコア(独自算出の注目度): 104.76638092169604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models have shown impressive results in text-to-image
synthesis. However, current text-to-image models often generate images that are
inadequately aligned with text prompts. We propose a fine-tuning method for
aligning such models using human feedback, comprising three stages. First, we
collect human feedback assessing model output alignment from a set of diverse
text prompts. We then use the human-labeled image-text dataset to train a
reward function that predicts human feedback. Lastly, the text-to-image model
is fine-tuned by maximizing reward-weighted likelihood to improve image-text
alignment. Our method generates objects with specified colors, counts and
backgrounds more accurately than the pre-trained model. We also analyze several
design choices and find that careful investigations on such design choices are
important in balancing the alignment-fidelity tradeoffs. Our results
demonstrate the potential for learning from human feedback to significantly
improve text-to-image models.
- Abstract(参考訳): 深層生成モデルはテキストから画像への合成において印象的な結果を示している。
しかし、現在のテキストから画像へのモデルは、テキストプロンプトと不十分に一致した画像を生成することが多い。
本稿では,3段階からなる人間のフィードバックを用いて,これらのモデルを調整するための微調整手法を提案する。
まず,多様なテキストプロンプトから,モデル出力アライメントを評価する人間フィードバックを収集する。
次に、人間ラベル付き画像テキストデータセットを使用して、人間のフィードバックを予測する報酬関数をトレーニングする。
最後に、テキスト対画像モデルは、画像とテキストのアライメントを改善するために報酬重み付き確率を最大化することで微調整される。
本手法は,事前学習したモデルよりも,特定の色,数,背景を持つオブジェクトを生成する。
また、いくつかの設計選択を分析し、アライメント-忠実トレードオフのバランスをとる上で、そのような設計選択に対する慎重な調査が重要であることを発見した。
本研究は,人間のフィードバックから学習し,テキストから画像へのモデルを大幅に改善する可能性を示す。
関連論文リスト
- Enhancing Image Caption Generation Using Reinforcement Learning with
Human Feedback [0.0]
本研究では,人間に好まれるキャプションを生成するために,ディープニューラルネットワークモデルの性能を増幅する潜在的手法を検討する。
これは、教師付き学習と強化学習と人間のフィードバックを統合することで達成された。
我々は、人間の協調型生成AIモデル分野における継続的な進歩に寄与することを願って、我々のアプローチと結果のスケッチを提供する。
論文 参考訳(メタデータ) (2024-03-11T13:57:05Z) - Rich Human Feedback for Text-to-Image Generation [27.030777546301376]
我々は18K生成画像のリッチなフィードバックを収集し、マルチモーダルトランスフォーマーを訓練して、リッチなフィードバックを自動的に予測する。
例えば、高品質なトレーニングデータを選択して微調整し、生成モデルを改善することで、予測されたリッチな人間のフィードバックを利用して画像生成を改善することができることを示す。
論文 参考訳(メタデータ) (2023-12-15T22:18:38Z) - Human Learning by Model Feedback: The Dynamics of Iterative Prompting
with Midjourney [28.39697076030535]
本稿では,そのようなイテレーションに沿ってユーザプロンプトのダイナミクスを解析する。
これらのイテレーションに沿った特定の特性に対して、プロンプトが予測通りに収束することを示します。
ユーザがモデルの好みに適応する可能性は、さらなるトレーニングのためにユーザデータの再利用に関する懸念を提起する。
論文 参考訳(メタデータ) (2023-11-20T19:28:52Z) - Likelihood-Based Text-to-Image Evaluation with Patch-Level Perceptual
and Semantic Credit Assignment [48.835298314274254]
生成した画像の可能性を直接推定し,テキスト・画像生成性能を評価する。
高い確率は、知覚品質が向上し、テキスト画像のアライメントが向上することを示している。
これらのモデルの生成能力を、数百のサンプルで評価することができる。
論文 参考訳(メタデータ) (2023-08-16T17:26:47Z) - ImageReward: Learning and Evaluating Human Preferences for Text-to-Image
Generation [30.977582244445742]
ImageRewardは、人間の嗜好報酬モデルである。
そのトレーニングは、評価やランキングを含む、系統的なアノテーションパイプラインに基づいています。
人間の評価では、ImageRewardは既存のスコアリングモデルやメトリクスよりも優れています。
論文 参考訳(メタデータ) (2023-04-12T16:58:13Z) - HumanDiffusion: a Coarse-to-Fine Alignment Diffusion Framework for
Controllable Text-Driven Person Image Generation [73.3790833537313]
制御可能な人物画像生成は、デジタルヒューマンインタラクションや仮想トライオンといった幅広い応用を促進する。
テキスト駆動型人物画像生成のための粗大なアライメント拡散フレームワークHumanDiffusionを提案する。
論文 参考訳(メタデータ) (2022-11-11T14:30:34Z) - eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert
Denoisers [87.52504764677226]
大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。
異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。
eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
論文 参考訳(メタデータ) (2022-11-02T17:43:04Z) - Photorealistic Text-to-Image Diffusion Models with Deep Language
Understanding [53.170767750244366]
Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。
テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
論文 参考訳(メタデータ) (2022-05-23T17:42:53Z) - Training Language Models with Natural Language Feedback [51.36137482891037]
3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。
合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。
人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
論文 参考訳(メタデータ) (2022-04-29T15:06:58Z) - Affective Feedback Synthesis Towards Multimodal Text and Image Data [12.768277167508208]
我々は、入力テキストと対応する画像に対するフィードバックを生成する感情フィードバック合成の新しいタスクを定義した。
画像テキスト入力とともに,地味な人間のコメントを用いてフィードバック合成システムを提案し,訓練した。
生成したフィードバックは、自動評価と人的評価を用いて分析されている。
論文 参考訳(メタデータ) (2022-03-23T19:28:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。