論文の概要: FIRM-Video: Check Before You Score for Reliable Text-to-Video Reward Modeling

• arxiv url: http://arxiv.org/abs/2608.21839v1
• Date: Sat, 22 Aug 2026 08:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.929381
• Title: FIRM-Video: Check Before You Score for Reliable Text-to-Video Reward Modeling
• Title（参考訳）: FIRM-Video:信頼性の高いテキスト・ビデオ・リワード・モデリング
• Abstract要約: 本稿では,チェックリスト駆動型データ構築フレームワークFIRM-Videoを紹介する。 29,348本のビデオから,88,044本の寸法を持つFIRM-Video-90Kを構築し,750本のポイントワイドな人間のアノテーションを用いたFIRM-Video-Benchを紹介した。 Qwen3-VLベースのFIRM-Video-8Bは、FIRM-Video-Benchで最高のMAEを達成しつつ、最高VBenchトータル、品質、セマンティックスコアを継続的に提供する。
• 参考スコア（独自算出の注目度）: 39.98419782895457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable reward models are essential for text-to-video evaluation and alignment. However, the trade-off between evaluation accuracy and inference efficiency places high demands on the quality of training supervision. Existing approaches often rely on holistic judges with fixed rubrics or open-ended reasoning, leading to incomplete inspection, unfaithful justification, and entangled attribution. We introduce FIRM-Video, a unified checklist-driven data construction framework based on a check-before-score principle: construct dimension-specific checklists, verify each criterion against temporal visual evidence, and aggregate only verified decisions. For Instruction Following, FIRM-Video decomposes prompts into weighted atomic requirements; for World Coherence, it constructs prompt-calibrated, target-specific checks grounded in visible entities and actions; and for Perceptual Quality, it applies a generic taxonomy of visual defects. The verified criteria and scores are further transformed into natural-language analyses for end-to-end reward modeling. Subsequently, we construct FIRM-Video-90K with 88,044 dimension-specific instances from 29,348 videos, and introduce FIRM-Video-Bench with 750 point-wise human annotations across 250 videos. The Qwen3-VL-based FIRM-Video-8B achieves the best overall MAE on FIRM-Video-Bench while consistently delivering the highest VBench Total, Quality, and Semantic Scores in Best-of-8 sampling across three video generators.
• Abstract（参考訳）: 信頼性の高い報酬モデルは、テキスト対ビデオの評価とアライメントに不可欠である。 しかし、評価精度と推論効率のトレードオフは、訓練監督の質に高い要求を与える。 既存のアプローチは、しばしば固定されたルーリックまたはオープンな推論を持つ全体論的判断に依存しており、不完全な検査、不信義の正当化、絡み合った帰属につながっている。 FIRM-Videoは、チェックリスト駆動型データ構築フレームワークであり、チェックリストの構成、時間的視覚的証拠に対する各基準の検証、検証された決定のみを集約するものである。 FIRM-Videoは、プロンプトを重み付けされた原子の要求に分解し、ワールドコヒーレンスでは、目に見える実体や行動に根ざしたプロンプト校正されたターゲット固有のチェックを構築し、知覚品質では視覚欠陥の一般的な分類法を適用している。 検証された基準とスコアは、エンド・ツー・エンドの報酬モデリングのための自然言語分析にさらに変換される。 続いて,29,348本の動画から88,044本の寸法を持つFIRM-Video-90Kを構築し,250本のビデオに750本のポイントワイドな人間のアノテーションを付加したFIRM-Video-Benchを紹介した。 Qwen3-VLベースのFIRM-Video-8Bは、FIRM-Video-Benchで最高のMAEを達成し、VBenchトータル、クオリティ、セマンティックスコアを3つのビデオジェネレータでサンプリングする。

関連論文リスト

• VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing [65.49021465098606]
  VideoArgusは5つのビデオ生成と編集設定をカバーする統合フレームワークである。 VideoArgusは一度、出力盲のサンプル固有のルーリックを生成し、それを再利用して、対応するすべてのビデオを評価する。
  論文  参考訳（メタデータ） (2026-08-06T00:28:38Z)
• OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
  命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。 本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。 本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T16:58:48Z)
• NEXT: Reasoning-Driven Video Recommendation via a Vision-Language Model [8.612187834047418]
  Next-interest Exploration Transformerは推論駆動のビデオレコメンデーションフレームワークである。 Next-8Bは、3段階のレシピを持つ目的訓練された8B視覚言語モデルである。 次に、+0.53%の視聴時間と+0.51%の異なるビデオ露出を含む統計的に有意な生産増加を示す。
  論文  参考訳（メタデータ） (2026-06-27T06:51:58Z)
• HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models [28.84235879847985]
  大規模視覚言語モデル(LVLM)は、最近、自動コンテンツモデレーションにおいて大きな可能性を示している。 HarmVideoBenchは、1,379の動画と4,137の質問のペアからなる診断ベンチマークである。 BCRは,推論境界を予測し,必要なときにのみ動的にコンテキストを検索するベンチマークアライメント手法である。
  論文  参考訳（メタデータ） (2026-06-25T15:50:33Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• VideoScore2: Think before You Score in Generative Video Evaluation [69.43069741467603]
  VideoScore2は、視覚的品質、テキスト・ツー・ビデオのアライメント、物理的/常識的一貫性を明確に評価する多次元、解釈可能、そして人間によるアライメントフレームワークである。 我々のモデルは、27,168人の注釈付きビデオを含む大規模なデータセットVideoFeedback2で訓練されている。
  論文  参考訳（メタデータ） (2025-09-26T18:09:03Z)
• Video-LevelGauge: Investigating Contextual Positional Bias in Large Video Language Models [51.67019924750931]
  Video-LevelGaugeは、大規模ビデオ言語モデル(LVLM)における位置バイアスを評価するために設計されたベンチマークである。 我々は、標準化されたプローブとカスタマイズされたコンテキスト設定を採用し、コンテキスト長、プローブ位置、コンテキストタイプを柔軟に制御できる。 ベンチマークでは、複数のタイプにまたがる438の動画を手動でキュレートし、117の高品質なマルチチョイスの質問と120のオープンエンドの質問を得た。
  論文  参考訳（メタデータ） (2025-08-27T07:58:16Z)
• Video-Bench: Human-Aligned Video Generation Benchmark [26.31594706735867]
  生成モデルが視覚的にリアルで高品質なビデオを生成することを保証するためには、ビデオ生成アセスメントが不可欠である。 本稿では,豊富なプロンプトスイートと広範囲な評価次元を備えた総合的なベンチマークであるVideo-Benchを紹介する。 Soraを含む先進的なモデルの実験は、ビデオベンチがあらゆる次元にわたる人間の好みと優れた整合性を達成することを示した。
  論文  参考訳（メタデータ） (2025-04-07T10:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。