論文の概要: Aligning Human Sense: Calibrated Distributional Reward Learning for Video Generation

• arxiv url: http://arxiv.org/abs/2608.21425v1
• Date: Sun, 16 Aug 2026 07:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.899938
• Title: Aligning Human Sense: Calibrated Distributional Reward Learning for Video Generation
• Title（参考訳）: 人間の感覚に適応する:映像生成のための校正型分散リワード学習
• Abstract要約: ビデオ生成はAIによるコンテンツ生成の中心である。 視覚的品質の進歩にもかかわらず、3つの重要な課題が残っている。 まず、報酬信号の信頼性は、人間の嗜好データの品質に制約される。 第2に、標準的なスカラー報酬モデルが、マルチアスペクトの人間の嗜好を単一の値に分解する。 第3に、政策最適化において、広く採用されているKLの発散は、主に局所的な制約を課す。
• 参考スコア（独自算出の注目度）: 8.918851532959815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video generation is central to AI-powered content creation. Aligning generated videos with human preferences is a key criterion for evaluating generation quality. Despite significant progress in visual quality, three key challenges remain. First, the reliability of reward signals is constrained by the quality of human preference data, which is often affected by subjective noise and bias. Second, standard scalar reward models collapse multi-aspect human preferences into a single value, leading to the loss of dynamic trade-offs across multiple preference dimensions. Third, in policy optimization, the widely adopted KL divergence imposes primarily local constraints and may fail to capture the global structure of human preferences. To address these challenges, we propose a unified preference-aware learning framework for video generation. First, we introduce elite-guided filtering to calibrate preference data and construct reliable supervision for reward model training. We then model video quality as a multidimensional reward distribution to capture the uncertainty inherent in human preferences, and use the Wasserstein distance to align the learned reward distribution with the empirical human preference distribution. Finally, we introduce Wasserstein-based distributional alignment into GRPO, guiding policy optimization to better match the global structure of human preferences over videos. Experiments on reward modeling and video generation demonstrate that our approach improves the reliability of reward signals and the perceptual consistency of generated videos. Our code is available at https://github.com/alignhs26/ahs.
• Abstract（参考訳）: ビデオ生成はAIによるコンテンツ生成の中心である。 生成したビデオを人間の好みで調整することは、生成品質を評価するための重要な基準である。 視覚的品質の大幅な進歩にもかかわらず、3つの重要な課題が残っている。 第一に、報酬信号の信頼性は人間の嗜好データの品質に制約され、それは主観的雑音や偏見に影響されることが多い。 第二に、標準的なスカラー報酬モデルでは、人間の嗜好を1つの値に分解することで、複数の選好次元にわたる動的なトレードオフが失われる。 第3に、政策最適化において、広く採用されているKL分散は、主に局所的な制約を課し、人間の嗜好のグローバルな構造を捉えない可能性がある。 これらの課題に対処するために、ビデオ生成のための統合された嗜好認識学習フレームワークを提案する。 まず、選好データを校正し、報酬モデルトレーニングのための信頼性の高い監視を構築するために、エリート誘導フィルタリングを導入する。 次に、映像品質を多次元の報酬分布としてモデル化し、人間の嗜好に固有の不確かさを捉え、ワッサーシュタイン距離を用いて学習された報酬分布と経験的人間の嗜好分布を整合させる。 最後に、Wassersteinをベースとした分散アライメントをGRPOに導入し、ビデオよりも人間の好みのグローバルな構造に適合するようにポリシー最適化を指導する。 報奨モデルとビデオ生成実験により,提案手法は報奨信号の信頼性と生成した映像の知覚的整合性を向上することを示した。 私たちのコードはhttps://github.com/alignhs26/ahsで利用可能です。

関連論文リスト

• VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation [79.34043102155964]
  共同ビデオオーディオ生成のためのチェーン・オブ・オムニ・リワードモデルであるVA-Judgerを提案する。 VA-Judgerは,ドメイン内評価とドメイン外評価の両方において,ヒトの嗜好を予測する上で,指標ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-19T06:53:14Z)
• Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models [65.16788152626499]
  LocalDPOは、ビデオ拡散モデルと人間の好みを一致させる新しいフレームワークを構築している。 そこで我々は,LocalDPOがビデオの忠実度,時間的コヒーレンス,人間の嗜好スコアを,他のポストトレーニングアプローチよりも一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-01-07T16:32:17Z)
• Robust Preference Alignment via Directional Neighborhood Consensus [13.313830197011983]
  本稿では,指向性近傍のコンセンサスを利用したポストホックなトレーニングフリー手法であるRobust Preference Selection(RPS)を紹介する。 RPSは、関連する好みの地域からの複数の応答をサンプリングし、優れた候補プールを作成する。 本研究は, 嗜好整合モデルの信頼性を高めるための, 実用的, 理論的に基礎的なソリューションを提案する。
  論文  参考訳（メタデータ） (2025-10-23T12:39:20Z)
• From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models [69.4332879415364]
  本稿では,ビデオ生成における社会的表現を評価するためのフレームワークであるVideoBiasEvalを紹介する。 VideoBiasEvalでは、アクター属性からセマンティックコンテンツをアンタングルするために、イベントベースのプロンプト戦略を採用している。 我々は、人間の嗜好データセットにおけるバイアス、報酬モデルにおける増幅、アライメント調整されたビデオ拡散モデルによる伝播を結合する最初のエンドツーエンド分析を行う。
  論文  参考訳（メタデータ） (2025-10-20T07:37:43Z)
• Identity-GRPO: Optimizing Multi-Human Identity-preserving Video Generation via Reinforcement Learning [13.0209477024596]
  Identity-GRPOは、マルチヒューマンアイデンティティ保存ビデオ生成のための人間のフィードバック駆動最適化パイプラインである。 VACE と Phantom を大幅に向上させるマルチヒューマン一貫性のためのGRPO バリアントを採用している。 実験の結果、Identity-GRPOはベースラインメソッドよりも最大で18.9%向上していることがわかった。
  論文  参考訳（メタデータ） (2025-10-16T03:13:56Z)
• Multi-Metric Preference Alignment for Generative Speech Restoration [15.696247605348383]
  生成モデルに対するマルチメトリックな選好アライメント戦略を提案する。 3つの異なる生成パラダイムの一貫性と重要なパフォーマンス向上を観察する。 我々のアライメントモデルは強力な'データアノテータ'として機能し、高品質な擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2025-08-24T07:05:10Z)
• Generative Video Matting [57.186684844156595]
  ビデオ・マッティングは、伝統的に高品質な地上データがないために制限されてきた。 既存のビデオ・マッティング・データセットのほとんどは、人間が注釈付けした不完全なアルファとフォアグラウンドのアノテーションのみを提供する。 本稿では,事前学習したビデオ拡散モデルから,よりリッチな事前処理を効果的に活用できる新しいビデオマッチング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T12:18:55Z)
• Improving Video Generation with Human Feedback [105.81833319891537]
  我々は,人間のフィードバックを利用して映像生成問題を緩和するシステムパイプラインを開発した。 我々は,多次元ビデオ報酬モデルであるVideoRewardを紹介し,アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)
• MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。