論文の概要: IsoVRBench: Video Reward Modeling Without Human Feedback

• arxiv url: http://arxiv.org/abs/2610.17234v1
• Date: Mon, 12 Oct 2026 18:03:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.437129
• Title: IsoVRBench: Video Reward Modeling Without Human Feedback
• Title（参考訳）: IsoVRBench:人間のフィードバックのないビデオリワードモデリング
• Abstract要約: 我々は、残余を固定しながら生成したビデオの1つの特性を変化させる制御介入により、好みのペアを構築する。 現状のモデルでは、ジェネレータ間での幅広い品質差を区別するが、時間的順序などの重要な特徴を欠いていることを示す。
• 参考スコア（独自算出の注目度）: 80.72291973618601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video reward models are trained and evaluated on human preferences between videos that often differ simultaneously on properties such as prompt alignment, visual fidelity, motion, and generator identity. As a result, aggregate accuracy does not reveal which video properties a reward model can reliably distinguish. We construct preference pairs by controlled interventions that change one property of a generated video while holding the rest fixed. The resulting pairs, by construction, provide preferences for how the videos differ along a specific dimension, without requiring any human annotation. We propose IsoVRBench, a video generation reward modeling benchmark of 8,000 such pairs across eight interventions, and show that state-of-the-art models separate broad quality differences between generators but miss important features such as temporal order. The best reward model reaches only 60.8% on reordered frames against 100% for humans, and rankings on existing benchmarks do not predict this failure. Using the synthetic isolated intervation pairs as training data leads to 1) IsoVRM, a reward model outperforming its counterpart trained with a larger human labeled preference dataset by 3.8 points on VBench-2.0, 2) IsoWan, the video generator post-trained with IsoVRM, outperforming its human-data counterpart in human preferences, and 3) gains that stack when combined with human data. Because intervention pairs are automatically generated rather than collected, the benchmark and training data can be easily extended as generators evolve.
• Abstract（参考訳）: ビデオ報酬モデルは、即時アライメント、視覚的忠実性、動き、ジェネレータアイデンティティといった特性によって、同時に異なるビデオ間の人間の好みに基づいて訓練され、評価される。 その結果、アグリゲーション精度は、報酬モデルがどの映像特性を確実に区別できるかを明らかにしない。 我々は、残余を固定しながら生成したビデオの1つの特性を変化させる制御介入により、好みのペアを構築する。 結果のペアは、構築によって、人間のアノテーションを必要とせずに、ビデオが特定の次元に沿ってどのように異なるかの好みを提供する。 提案するIsoVRBenchは,8つの介入に対して8000対の映像生成報酬モデルである。 最高の報酬モデルでは、リオーダーされたフレームでは60.8%にしか達せず、既存のベンチマークではこの失敗を予測していない。 人工的に単離したインターボレーションペアをトレーニングデータとして用いる 1)IsoVRMは、VBench-2.0でより大きな人間ラベル付き嗜好データセットを3.8ポイント上回る報酬モデルである。 2)IsoVRMでポストトレーニングしたビデオジェネレータのIsoWanは、人間の嗜好において、その人のデータよりも優れている。 3) 人間のデータと組み合わせると、そのスタックが得られます。 介入ペアは収集されるのではなく自動的に生成されるため、ベンチマークとトレーニングデータは、ジェネレータが進化するにつれて容易に拡張できる。

関連論文リスト

• VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation [79.34043102155964]
  共同ビデオオーディオ生成のためのチェーン・オブ・オムニ・リワードモデルであるVA-Judgerを提案する。 VA-Judgerは,ドメイン内評価とドメイン外評価の両方において,ヒトの嗜好を予測する上で,指標ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-19T06:53:14Z)
• Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning [18.397872306430006]
  アクションコンディショニングされたロボットワールドモデルは、ロボットアクションシーケンスが与えられた操作されたシーンの将来のビデオフレームを生成する。 これらのモデルは、短時間の予測に最適化され、自動回帰的にデプロイされたときに分解される。 我々は,自己回帰的なロールアウトで世界モデルを訓練する強化学習スキームを導入する。
  論文  参考訳（メタデータ） (2026-03-26T17:36:08Z)
• Aligning Video Models with Human Social Judgments via Behavior-Guided Fine-Tuning [2.2713084727838115]
  現代ビデオと言語モデルが社会的ビデオにおいて人間に知覚される類似性を捉えているかどうかを考察する。 ソーシャルインタラクションの3秒ビデオクリップ250本に対して、49,000件以上の奇抜な1対1類似性判定のベンチマークを新たに導入した。 我々は、これらの人間の判断に基づいてTimeSformerビデオモデルに、新しいハイブリッドトリプルトRSA目標を付与する。
  論文  参考訳（メタデータ） (2025-10-01T22:29:55Z)
• What Are You Doing? A Closer Look at Controllable Human Video Generation [73.89117620413724]
  What Are You Doing?」は、人間の制御可能な画像とビデオの生成を評価するための新しいベンチマークである。 このビデオは、1,544本のキャプション付きビデオで構成されており、56の細かなカテゴリーで細かな収集と注釈付けがなされている。 制御可能な画像・映像生成における7つの最先端モデルの詳細な解析を行う。
  論文  参考訳（メタデータ） (2025-03-06T17:59:29Z)
• VideoSAVi: Self-Aligned Video Language Models without Human Supervision [0.6854849895338531]
  VideoSAViは、ビデオ-LLMが外部の監督なしにビデオコンテンツから学ぶことができる自己学習パイプラインである。 我々のアプローチは、モデルの初期応答における推論エラーを識別する自己記述機構を含む。 VideoSAViは、複数のベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-12-01T00:33:05Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。