論文の概要: VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation

• arxiv url: http://arxiv.org/abs/2412.21059v2
• Date: Sun, 23 Mar 2025 09:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:29:58.882668
• Title: VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation
• Title（参考訳）: VisionReward:画像とビデオ生成のための細粒度多次元人為的嗜好学習
• Authors: Jiazheng Xu, Yu Huang, Jiale Cheng, Yuanming Yang, Jiajun Xu, Yuan Wang, Wenbo Duan, Shen Yang, Qunlin Jin, Shurun Li, Jiayan Teng, Zhuoyi Yang, Wendi Zheng, Xiao Liu, Ming Ding, Xiaohan Zhang, Xiaotao Gu, Shiyu Huang, Minlie Huang, Jie Tang, Yuxiao Dong,
• Abstract要約: 画像生成と映像生成の両方において人間の視覚的嗜好を学習するためのフレームワークであるVisionRewardを紹介する。 VisionRewardは、マシンメトリクスと人的評価の両方において、既存の画像およびビデオ報酬モデルを大幅に上回ることができる。
• 参考スコア（独自算出の注目度）: 70.68566282567207
• License:
• Abstract: Visual generative models have achieved remarkable progress in synthesizing photorealistic images and videos, yet aligning their outputs with human preferences across critical dimensions remains a persistent challenge. Though reinforcement learning from human feedback offers promise for preference alignment, existing reward models for visual generation face limitations, including black-box scoring without interpretability and potentially resultant unexpected biases. We present VisionReward, a general framework for learning human visual preferences in both image and video generation. Specifically, we employ a hierarchical visual assessment framework to capture fine-grained human preferences, and leverages linear weighting to enable interpretable preference learning. Furthermore, we propose a multi-dimensional consistent strategy when using VisionReward as a reward model during preference optimization for visual generation. Experiments show that VisionReward can significantly outperform existing image and video reward models on both machine metrics and human evaluation. Notably, VisionReward surpasses VideoScore by 17.2% in preference prediction accuracy, and text-to-video models with VisionReward achieve a 31.6% higher pairwise win rate compared to the same models using VideoScore. All code and datasets are provided at https://github.com/THUDM/VisionReward.
• Abstract（参考訳）: 視覚生成モデルは、フォトリアリスティックな画像やビデオの合成において顕著な進歩を遂げてきたが、その出力を重要な次元にわたって人間の嗜好と整合させることは、依然として永続的な課題である。 人間のフィードバックからの強化学習は、好みのアライメントを約束するが、既存の視覚生成の報酬モデルには、解釈不可能なブラックボックススコアや、予期せぬバイアスなどが含まれる。 画像生成と映像生成の両方において人間の視覚的嗜好を学習するための一般的なフレームワークであるVisionRewardを紹介する。 具体的には、階層的な視覚的アセスメントフレームワークを用いて、きめ細かい人間の嗜好を捉え、線形重み付けを活用して解釈可能な嗜好学習を可能にする。 さらに、視覚生成のための優先最適化において、報酬モデルとしてVisionRewardを使用する場合の多次元一貫した戦略を提案する。 実験によると、VisionRewardは、マシンメトリクスと人的評価の両方において、既存の画像およびビデオ報酬モデルを大幅に上回っている。 注目すべきは、VisionRewardがVideoScoreを17.2%上回り、VisionRewardのテキスト対ビデオモデルはVideoScoreと同じモデルに比べて31.6%高い勝利率を達成したことである。 すべてのコードとデータセットはhttps://github.com/THUDM/VisionRewardで提供されている。

関連論文リスト

• VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models [111.5892290894904]
  VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。 我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。 VBench++は、テキスト・トゥ・ビデオと画像・トゥ・ビデオの評価をサポートする。
  論文  参考訳（メタデータ） (2024-11-20T17:54:41Z)
• Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Videos [66.1935609072708]
  鍵となる仮説は、個々のビューがより正確にビューに依存しないテキストの要約を予測できるほど、それがより情報的になるということである。 本稿では,ビュー依存キャプション予測の相対的精度を,擬似ラベルを最もよく見るためのプロキシとして利用するフレームワークを提案する。 推論中、我々のモデルは多視点ビデオ(言語やカメラのポーズなし)のみを入力として、各タイミングで見るのに最適な視点を返します。
  論文  参考訳（メタデータ） (2024-11-13T16:31:08Z)
• VBench: Comprehensive Benchmark Suite for Video Generative Models [100.43756570261384]
  VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。 我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。 VBenchは、すべてのプロンプト、評価方法、生成されたビデオ、人間の好みのアノテーションを含むオープンソースとして公開します。
  論文  参考訳（メタデータ） (2023-11-29T18:39:01Z)
• Retargeting video with an end-to-end framework [14.270721529264929]
  本稿では,動画を任意の比率に再ターゲティングするためのエンドツーエンドのRETVI手法を提案する。 私たちのシステムは、以前よりも品質と実行時間で優れています。
  論文  参考訳（メタデータ） (2023-11-08T04:56:41Z)
• NPF-200: A Multi-Modal Eye Fixation Dataset and Method for Non-Photorealistic Videos [51.409547544747284]
  NPF-200は、視線を固定した純粋にフォトリアリスティックでないビデオの大規模なマルチモーダルデータセットである。 私たちは一連の分析を行い、このタスクについてより深い洞察を得ます。 NPSNetと呼ばれる広帯域周波数対応マルチモーダル非フォトリアリスティックサリエンシ検出モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-23T14:25:22Z)
• InternVideo: General Video Foundation Models via Generative and Discriminative Learning [52.69422763715118]
  動的および複雑なビデオレベルの理解タスクのための一般的なビデオ基盤モデルであるInternVideoを提案する。 InternVideoは、事前学習対象として、マスク付きビデオモデリングとビデオ言語コントラスト学習を効率的に探索する。 InternVideoは、ビデオアクション認識/検出、ビデオ言語アライメント、オープンワールドビデオアプリケーションなど、39のビデオデータセットの最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-06T18:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。