論文の概要: Aligning Text-to-Image Models using Human Feedback

• arxiv url: http://arxiv.org/abs/2302.12192v1
• Date: Thu, 23 Feb 2023 17:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 14:11:08.487607
• Title: Aligning Text-to-Image Models using Human Feedback
• Title（参考訳）: 人間のフィードバックによるテキスト対画像モデルの整合
• Authors: Kimin Lee, Hao Liu, Moonkyung Ryu, Olivia Watkins, Yuqing Du, Craig Boutilier, Pieter Abbeel, Mohammad Ghavamzadeh, Shixiang Shane Gu
• Abstract要約: 現在のテキスト・ツー・イメージモデルは、しばしばテキスト・プロンプトと不適切に一致した画像を生成する。 そこで本研究では,人間のフィードバックを用いて,そのようなモデルを調整するための微調整手法を提案する。 その結果,人間のフィードバックから学び,テキスト・ツー・イメージ・モデルを大幅に改善する可能性が示された。
• 参考スコア（独自算出の注目度）: 104.76638092169604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models have shown impressive results in text-to-image synthesis. However, current text-to-image models often generate images that are inadequately aligned with text prompts. We propose a fine-tuning method for aligning such models using human feedback, comprising three stages. First, we collect human feedback assessing model output alignment from a set of diverse text prompts. We then use the human-labeled image-text dataset to train a reward function that predicts human feedback. Lastly, the text-to-image model is fine-tuned by maximizing reward-weighted likelihood to improve image-text alignment. Our method generates objects with specified colors, counts and backgrounds more accurately than the pre-trained model. We also analyze several design choices and find that careful investigations on such design choices are important in balancing the alignment-fidelity tradeoffs. Our results demonstrate the potential for learning from human feedback to significantly improve text-to-image models.
• Abstract（参考訳）: 深層生成モデルはテキストから画像への合成において印象的な結果を示している。 しかし、現在のテキストから画像へのモデルは、テキストプロンプトと不十分に一致した画像を生成することが多い。 本稿では,3段階からなる人間のフィードバックを用いて,これらのモデルを調整するための微調整手法を提案する。 まず,多様なテキストプロンプトから,モデル出力アライメントを評価する人間フィードバックを収集する。 次に、人間ラベル付き画像テキストデータセットを使用して、人間のフィードバックを予測する報酬関数をトレーニングする。 最後に、テキスト対画像モデルは、画像とテキストのアライメントを改善するために報酬重み付き確率を最大化することで微調整される。 本手法は,事前学習したモデルよりも,特定の色,数,背景を持つオブジェクトを生成する。 また、いくつかの設計選択を分析し、アライメント-忠実トレードオフのバランスをとる上で、そのような設計選択に対する慎重な調査が重要であることを発見した。 本研究は,人間のフィードバックから学習し,テキストから画像へのモデルを大幅に改善する可能性を示す。

関連論文リスト

• Removing Distributional Discrepancies in Captions Improves Image-Text Alignment [76.31530836622694]
  画像テキストアライメントの予測を改善するためのモデルを提案する。 このアプローチでは、アライメントタスクのための高品質なトレーニングデータセットの生成に重点を置いています。 また,テキストアライメントに基づくテキスト・ツー・イメージ・モデルによる画像のランク付けにより,本モデルの適用性を示す。
  論文  参考訳（メタデータ） (2024-10-01T17:50:17Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Leveraging Human Revisions for Improving Text-to-Layout Models [16.617352120973806]
  我々は,より強力なアライメントのための人間のリビジョンの形で,ニュアンスフィードバックを用いることを提案する。 我々の手法であるRevision-Aware Reward Modelsは、生成テキストからテキストへのモデルにより、よりモダンでデザイナに準拠したレイアウトを生成する。
  論文  参考訳（メタデータ） (2024-05-16T01:33:09Z)
• Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
  VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。 我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
  論文  参考訳（メタデータ） (2024-04-23T14:53:15Z)
• Confidence-aware Reward Optimization for Fine-tuning Text-to-Image Models [85.96013373385057]
  人間のフィードバックデータに基づいて訓練された報酬関数を持つ微調整テキスト・ツー・イメージモデルは、モデル行動と人間の意図との整合性を実証した。 しかし、そのような報酬モデルによる過度な最適化は、単にプロキシの目的として機能し、微調整されたモデルの性能を損なう可能性がある。 本研究では,テキストプロンプトの集合に対して推定された報酬モデル信頼度に基づいてアライメントを強化する手法であるTextNormを提案する。
  論文  参考訳（メタデータ） (2024-04-02T11:40:38Z)
• Rich Human Feedback for Text-to-Image Generation [27.030777546301376]
  我々は18K生成画像(RichHF-18K)のリッチなフィードバックを収集し、マルチモーダルトランスを訓練して、リッチなフィードバックを自動的に予測する。 例えば、高品質なトレーニングデータを選択して微調整し、生成モデルを改善することで、予測されたリッチな人間のフィードバックを利用して画像生成を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-12-15T22:18:38Z)
• Human Learning by Model Feedback: The Dynamics of Iterative Prompting with Midjourney [28.39697076030535]
  本稿では,そのようなイテレーションに沿ってユーザプロンプトのダイナミクスを解析する。 これらのイテレーションに沿った特定の特性に対して、プロンプトが予測通りに収束することを示します。 ユーザがモデルの好みに適応する可能性は、さらなるトレーニングのためにユーザデータの再利用に関する懸念を提起する。
  論文  参考訳（メタデータ） (2023-11-20T19:28:52Z)
• ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation [30.977582244445742]
  ImageRewardは、人間の嗜好報酬モデルである。 そのトレーニングは、評価やランキングを含む、系統的なアノテーションパイプラインに基づいています。 人間の評価では、ImageRewardは既存のスコアリングモデルやメトリクスよりも優れています。
  論文  参考訳（メタデータ） (2023-04-12T16:58:13Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。