論文の概要: VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation
- arxiv url: http://arxiv.org/abs/2412.21059v1
- Date: Mon, 30 Dec 2024 16:24:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:05:58.693566
- Title: VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation
- Title（参考訳）: VisionReward:画像とビデオ生成のための細粒度多次元人為的嗜好学習
- Authors: Jiazheng Xu, Yu Huang, Jiale Cheng, Yuanming Yang, Jiajun Xu, Yuan Wang, Wenbo Duan, Shen Yang, Qunlin Jin, Shurun Li, Jiayan Teng, Zhuoyi Yang, Wendi Zheng, Xiao Liu, Ming Ding, Xiaohan Zhang, Xiaotao Gu, Shiyu Huang, Minlie Huang, Jie Tang, Yuxiao Dong,
- Abstract要約: VisionRewardは細粒度で多次元の報酬モデルである。
我々は、画像やビデオの人間の好みを多次元に分解する。
VisionRewardに基づく多目的選好学習アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 70.68566282567207
- License:
- Abstract: We present a general strategy to aligning visual generation models -- both image and video generation -- with human preference. To start with, we build VisionReward -- a fine-grained and multi-dimensional reward model. We decompose human preferences in images and videos into multiple dimensions, each represented by a series of judgment questions, linearly weighted and summed to an interpretable and accurate score. To address the challenges of video quality assessment, we systematically analyze various dynamic features of videos, which helps VisionReward surpass VideoScore by 17.2% and achieve top performance for video preference prediction. Based on VisionReward, we develop a multi-objective preference learning algorithm that effectively addresses the issue of confounding factors within preference data. Our approach significantly outperforms existing image and video scoring methods on both machine metrics and human evaluation. All code and datasets are provided at https://github.com/THUDM/VisionReward.
- Abstract（参考訳）: 視覚生成モデル(画像と映像の両方)を人間の好みに合わせるための一般的な戦略を提案する。
まず最初に、VisionReward - きめ細かい多次元報酬モデルを構築します。
画像やビデオの人間の好みを複数の次元に分解し、それぞれが一連の判断質問によって表現され、線形に重み付けされ、解釈可能で正確なスコアにまとめられる。
映像品質評価の課題に対処するため,ビデオの動的特徴を系統的に分析し,VisionReward が VideoScore を17.2% 上回るのに役立ち,映像嗜好予測の最高性能を達成する。
VisionRewardをベースとした多目的選好学習アルゴリズムは、選好データ内の共起要因の問題を効果的に解決する。
提案手法は, 実測値と人的評価の両方において, 既存の画像と映像のスコアリング手法を著しく上回っている。
すべてのコードとデータセットはhttps://github.com/THUDM/VisionRewardで提供されている。
関連論文リスト
- VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models [111.5892290894904]
VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。
我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。
VBench++は、テキスト・トゥ・ビデオと画像・トゥ・ビデオの評価をサポートする。
論文 参考訳（メタデータ） (2024-11-20T17:54:41Z) - Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Videos [66.1935609072708]
鍵となる仮説は、個々のビューがより正確にビューに依存しないテキストの要約を予測できるほど、それがより情報的になるということである。
本稿では,ビュー依存キャプション予測の相対的精度を,擬似ラベルを最もよく見るためのプロキシとして利用するフレームワークを提案する。
推論中、我々のモデルは多視点ビデオ(言語やカメラのポーズなし)のみを入力として、各タイミングで見るのに最適な視点を返します。
論文 参考訳（メタデータ） (2024-11-13T16:31:08Z) - VBench: Comprehensive Benchmark Suite for Video Generative Models [100.43756570261384]
VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。
我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。
VBenchは、すべてのプロンプト、評価方法、生成されたビデオ、人間の好みのアノテーションを含むオープンソースとして公開します。
論文 参考訳（メタデータ） (2023-11-29T18:39:01Z) - Retargeting video with an end-to-end framework [14.270721529264929]
本稿では,動画を任意の比率に再ターゲティングするためのエンドツーエンドのRETVI手法を提案する。
私たちのシステムは、以前よりも品質と実行時間で優れています。
論文 参考訳（メタデータ） (2023-11-08T04:56:41Z) - NPF-200: A Multi-Modal Eye Fixation Dataset and Method for
Non-Photorealistic Videos [51.409547544747284]
NPF-200は、視線を固定した純粋にフォトリアリスティックでないビデオの大規模なマルチモーダルデータセットである。
私たちは一連の分析を行い、このタスクについてより深い洞察を得ます。
NPSNetと呼ばれる広帯域周波数対応マルチモーダル非フォトリアリスティックサリエンシ検出モデルを提案する。
論文 参考訳（メタデータ） (2023-08-23T14:25:22Z) - InternVideo: General Video Foundation Models via Generative and
Discriminative Learning [52.69422763715118]
動的および複雑なビデオレベルの理解タスクのための一般的なビデオ基盤モデルであるInternVideoを提案する。
InternVideoは、事前学習対象として、マスク付きビデオモデリングとビデオ言語コントラスト学習を効率的に探索する。
InternVideoは、ビデオアクション認識/検出、ビデオ言語アライメント、オープンワールドビデオアプリケーションなど、39のビデオデータセットの最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-12-06T18:09:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。