論文の概要: ACWM-RM: A Reference-Free Reward Model from Complementary Mismatch Preferences

• arxiv url: http://arxiv.org/abs/2610.32222v1
• Date: Fri, 23 Oct 2026 06:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.408246
• Title: ACWM-RM: A Reference-Free Reward Model from Complementary Mismatch Preferences
• Title（参考訳）: ACWM-RM:相補的ミスマッチ推定に基づく参照フリーリワードモデル
• Abstract要約: 本稿では,AVM-Eval(Action and Video Mismatch Benchmark)を提案する。 次に,視覚的品質(VQ)と行動追従忠実度(AF)を共同評価する報酬モデルACWM-RMを提案する。
• 参考スコア（独自算出の注目度）: 20.26857458543778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has gained attention for improving action-conditioned world models (ACWMs), as it enables reward-driven optimization of visual quality (VQ) and action-following fidelity (AF) beyond flow-matching optimization. Realizing this potential requires reward signals that reliably rank videos by both VQ and AF. However, existing rewards capture only one dimension: metric-based rewards assess VQ but require ground-truth videos and do not directly assess AF, while inverse dynamics model (IDM) rewards assess AF without references but do not guarantee VQ. Moreover, IDMs, typically trained on real videos, may provide unreliable rewards for generated videos containing visual artifacts and physical inconsistencies. In this work, we introduce the Action and Video Mismatch Benchmark (AVM-Eval), comprising 67.2k pairs that evaluate how reliably IDMs assess AF on real and generated videos. We then propose ACWM-RM, a reward model that jointly assesses VQ and AF without ground-truth videos during reward computation. To train it, we first construct the Action and Video Mismatch Preference Dataset (AVM-Pref) with 506.3k pairs providing complementary supervision: action-mismatch pairs supervise AF, while video-mismatch pairs supervise VQ and expose the model to generated videos. We then pretrain an action-conditioned predictor on real videos to learn forward dynamics before jointly training it with a patch-weighted score head on AVM-Pref to transfer these dynamics to AF assessment on generated videos. Evaluation on AVM-Eval reveals the limited reliability of IDMs on generated videos, while downstream RL experiments show that ACWM-RM outperforms reward baselines in both criteria.
• Abstract（参考訳）: 強化学習は、視覚品質(VQ)の報酬駆動最適化と、フローマッチング最適化を超えた行動追従忠実度(AF)を実現することで、行動条件付き世界モデル(ACWM)の改善に注目されている。 この可能性を実現するには、VQとAFの両方でビデオを確実にランク付けする報奨信号が必要である。 しかし、既存の報酬は1次元のみをキャプチャする: メートル法に基づく報酬はVQを評価するが、基調的なビデオが必要であり、AFを直接評価する必要はない。 さらに、実際のビデオで訓練されるIMMは、視覚的なアーティファクトや物理的不整合を含む生成されたビデオに対して、信頼できない報酬を与える可能性がある。 本稿では,67.2kペアからなるAVM-Eval(Action and Video Mismatch Benchmark)を紹介する。 そこで本稿では,報酬計算中にビデオの接地を伴わずにVQとAFを共同で評価する報奨モデルACWM-RMを提案する。 まず,アクションミスマッチペアがAFを監督し,ビデオミスマッチペアがVQを監督し,生成されたビデオにモデルを公開する。 次に、実ビデオ上でアクション条件付き予測器を事前訓練し、AVM-Prefのパッチ重み付きスコアヘッドと共同でトレーニングし、これらのダイナミクスを生成されたビデオのAFアセスメントに転送する。 AVM-Evalの評価では、生成されたビデオ上でのIMMの信頼性が制限されているのに対し、下流RL実験では、ACWM-RMは両方の基準で報酬ベースラインを上回っている。

関連論文リスト

• VOR-Bench: A Human Perception-Driven Benchmark for Video Object Removal [41.67024349583551]
  VORベンチ(VOR Bench)を導入し、3つの統合コンポーネントによるVOR評価を向上する。 まず、VORデータセット(VORD)を、ペア化された編集ビデオと落書きマスクの両方を提供する最初のベンチマークデータセットとして提示する。 第2に、現実的なモーション対応Paired-Video Acquisition FrameworkであるrMPAFを開発する。 第3に,マスク誘導型VORに特化して設計されたVLMに基づく最初の知覚駆動型スコアリングモデルであるVOR-MDSMを紹介する。
  論文  参考訳（メタデータ） (2026-09-15T09:08:00Z)
• Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
  世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。 大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。 Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
  論文  参考訳（メタデータ） (2026-08-09T08:02:49Z)
• Video Understanding Reward Modeling: A Robust Benchmark and Performant Reward Models [51.616920646492524]
  本稿では,ベンチマーク設計,データ構築,報酬モデルトレーニングを対象とする統一フレームワークを提案する。 VURB(Video Understanding Reward Bench)は、2,100対の選好ペアと長い連鎖推論トレース(1,143トークン)と、一般的な、長い、推論指向のビデオタスクにおける多数投票評価を特徴とするベンチマークである。 我々は、VURBとVideoRewardBenchの最先端性能を達成するために、差別的かつ生成的な報酬モデルであるVideoDRMとVideoGRMを訓練する。
  論文  参考訳（メタデータ） (2026-05-08T15:29:11Z)
• Learning Perceptual Representations for Gaming NR-VQA with Multi-Task FR Signals [11.586349688474753]
  ゲームビデオの非参照ビデオ品質評価(NR-VQA)は、制限された人格データセットとユニークなコンテンツ特性のために困難である。 本稿では,マルチタスク学習フレームワークであるMTL-VQAについて述べる。
  論文  参考訳（メタデータ） (2026-02-12T12:56:58Z)
• VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning [50.34205095371895]
  映像品質評価は、知覚的品質劣化を客観的に定量化することを目的としている。 既存のVQAモデルには2つの限界がある。 推論に基づくVQAフレームワークである textbfVQAThinker を提案する。
  論文  参考訳（メタデータ） (2025-08-08T06:16:23Z)
• Towards Generalized Video Quality Assessment: A Weak-to-Strong Learning Paradigm [76.63001244080313]
  映像品質評価(VQA)は、人間の視覚的知覚に合わせて映像の知覚的品質を予測することを目的としている。 支配的なVQAパラダイムは、人間のラベル付きデータセットによる教師付きトレーニングに依存している。 我々は、大規模な人ラベルデータセットに頼らずにVQAを進めるための新しいパラダイムとして、弱い対強学習(W2S)を探求する。
  論文  参考訳（メタデータ） (2025-05-06T15:29:32Z)
• VideoEval: Comprehensive Benchmark Suite for Low-Cost Evaluation of Video Foundation Model [22.188795668927586]
  ビデオファウンデーションモデル(VFM)は近年大きな進歩を遂げている。 既存のベンチマークと評価プロトコルは、比較的低い多様性、高い評価コスト、飽和したパフォーマンスメトリクスによって制限されることが多い。 これらの問題、すなわちVideoEvalに対処するための包括的なベンチマークスイートを構築しています。
  論文  参考訳（メタデータ） (2024-07-09T01:49:08Z)
• UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated Content [59.13821614689478]
  コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。 ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。 先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。 我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-29T00:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。