論文の概要: RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation

• arxiv url: http://arxiv.org/abs/2610.27782v1
• Date: Tue, 20 Oct 2026 07:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.702858
• Title: RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation
• Title（参考訳）: RoboJudge:マルチモーダル言語モデル
• Abstract要約: 本稿では,実演ビデオ生成の判断としてMLLMを評価するベンチマークであるRoboJudge-Benchを紹介する。 このベンチマークは、800本の人力アノテーション付きビデオの2つの基本的な次元、物理の整合性と命令のアライメントを測定している。 実験では、既存の審査員と人間の評価との間に不均一な一致が見られる。 提案するRoboJudge-Trainは,25Kの人間認証スコアとモデル支援論理を付加した12Kビデオで構成されている。
• 参考スコア（独自算出の注目度）: 41.80333623527374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video generation models are promising foundations for embodied world models, but only if their generated rollouts are physically valid and faithful to task instructions. Multimodal large language models (MLLMs) are increasingly used to judge these properties, yet their agreement with human judgments on embodied videos has not been systematically evaluated. To address this gap, we introduce RoboJudge-Bench, a benchmark for evaluating MLLMs as judges of embodied video generation. The benchmark measures two fundamental dimensions, Physical Adherence and Instruction Alignment, across 800 human-annotated videos from 8 source corpora and 10 video generators, spanning grippers, human hands, and dexterous hands. Experiments reveal uneven alignment between existing judges and human ratings: general-purpose MLLMs show lower agreement on physical adherence, while specialized video judges designed for general-domain physical reasoning do not consistently transfer to embodied scenarios. Motivated by these findings, we construct RoboJudge-Train, comprising 12K videos annotated with 25K human-verified scores and model-assisted rationales for Physical Adherence and Instruction Alignment. We fine-tune a 9B MLLM on this dataset with supervised learning followed by reinforcement learning, yielding RoboJudge-9B. Among the model judges evaluated on RoboJudge-Bench, RoboJudge-9B achieves the highest overall agreement, reaching a Pearson correlation of 0.719 with a statistically significant 0.089 gain over Gemini-3.7-Flash, the best-performing proprietary baseline in our evaluation. Training on RoboJudge-Train also yields gains on external benchmarks, including VideoPhy2 and Physion-Eval. We further use RoboJudge-9B as a downstream evaluator to benchmark video generation models according to Physical Adherence and Instruction Alignment.
• Abstract（参考訳）: ビデオ生成モデルは、具現化された世界モデルのための有望な基盤であるが、生成したロールアウトが物理的に有効であり、タスク命令に忠実である場合に限られる。 マルチモーダルな大言語モデル (MLLM) はこれらの特性を判断するためにますます使われてきているが、ビデオの人間による判断との合意は体系的に評価されていない。 このギャップに対処するために,実演映像生成の判断としてMLLMを評価するベンチマークであるRoboJudge-Benchを紹介する。 このベンチマークは、8つのソースコーパスと10のビデオジェネレータから800の人称注釈付きビデオ、グリッパー、人間の手、そして器用な手にまたがる2つの基本的な次元を測定している。 実験では、既存の裁判官と人間の評価との間に不均一な一致が示される: 汎用MLLMは、身体的拘束力の低さを示すが、一般領域の物理的推論のために設計された特殊なビデオ裁判官は、常に具体化されたシナリオに移行しない。 以上より,本研究はRoboJudge-Trainを構築した。 9B MLLMをこのデータセット上に微調整し,教師付き学習と強化学習を行い,RoboJudge-9Bを得た。 RoboJudge-Benchで評価されたモデル審査員のうち,RoboJudge-9BはPearsonの0.719と統計的に有意な0.089のゲミニ3.7-Flashとの相関を達成し,総合的な合意を達成している。 RoboJudge-Trainのトレーニングは、VideoPhy2やPhyllon-Evalなど、外部ベンチマークでも利益を得ている。 さらに、ロボジャッジ9Bを下流評価器として使用し、物理アジェンスとインストラクションアライメントに基づく映像生成モデルのベンチマークを行う。

関連論文リスト

• IsoVRBench: Video Reward Modeling Without Human Feedback [80.72291973618601]
  我々は、残余を固定しながら生成したビデオの1つの特性を変化させる制御介入により、好みのペアを構築する。 現状のモデルでは、ジェネレータ間での幅広い品質差を区別するが、時間的順序などの重要な特徴を欠いていることを示す。
  論文  参考訳（メタデータ） (2026-10-12T18:03:36Z)
• OpenWAM: An Open Framework for Composable World-Action Models [30.981740473743418]
  OPENWAMは,共通の因果的ロボット・ビデオ基盤を基盤として構築されたオープンワールドアクションモデリングフレームワークである。 我々は、1万時間以上のビデオで因果的ロボットビデオの事前トレーニングを行い、その後、共有Mixture-of-Transformersアーキテクチャを通じてアクションエキスパートを統合する。 OPENWAMは4つのLIBEROスイートと実世界のバイマニュアルタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-10-06T08:02:12Z)
• PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
  PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。 事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。 一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
  論文  参考訳（メタデータ） (2026-09-14T03:25:46Z)
• OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
  大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
  論文  参考訳（メタデータ） (2026-06-12T07:31:55Z)
• RoboTrustBench: Benchmarking the Trustworthiness of Video World Models for Robotic Manipulation [33.81624745282099]
  我々は,ビデオワールドモデルの信頼性を評価するベンチマークであるRoboTrustBenchを紹介した。 現在のモデルは、しばしば視覚的に一貫性のあるビデオを生成するが、制約推論、反ファクトグラウンド、物理的相互作用、安全でない命令抑制に苦慮している。
  論文  参考訳（メタデータ） (2026-06-01T02:56:09Z)
• PhyGround: Benchmarking Physical Reasoning in Generative World Models [46.53245929361594]
  ビデオ生成における物理的推論を評価するための基準付きベンチマークであるPhyGroundを紹介する。 ベンチマークには250のキュレートされたプロンプトが含まれており、それぞれが予想される物理的な結果と13の物理法則の分類が含まれている。 我々は,大規模で品質管理された人間の研究を通じて,8つの現代映像生成モデルを評価する。
  論文  参考訳（メタデータ） (2026-05-11T16:30:51Z)
• RoboAlign-R1: Distilled Multimodal Reward Alignment for Robot Video World Models [39.60337316193729]
  本稿では,ロボットビデオワールドモデルのための報酬整合後トレーニングと安定化長軸推論を組み合わせたフレームワークであるRoboAlign-R1を提案する。 その結果,報酬整合型ポストトレーニングと安定型ロングホライゾンデコードにより,タスク整合性,物理リアリズム,ロングホライゾン予測品質が改善された。
  論文  参考訳（メタデータ） (2026-05-05T14:49:00Z)
• VideoJudge: Bootstrapping Enables Scalable Supervision of MLLM-as-a-Judge for Video Understanding [57.15309719147799]
  ビデオ理解モデルから出力を評価するための3Bおよび7BサイズのMLLM判定器であるVideoJudgeを紹介する。 VideoJudgeのトレーニングには、ジェネレータと評価器の相互作用に基づいてレシピを構築します。 4つのメタ評価ベンチマークのうち3つで、VideoJudge-7BはMLLMの判断基準を大きく上回っている。
  論文  参考訳（メタデータ） (2025-09-25T19:22:57Z)
• WorldModelBench: Judging Video Generation Models As World Models [57.776769550453594]
  ビデオ生成モデルは急速に進歩し、ロボット工学や自動運転といった意思決定アプリケーションをサポートするビデオワールドモデルとしての地位を確立している。 現在のベンチマークでは、これらの主張を厳格に評価することができず、一般的なビデオ品質にのみ焦点が当てられている。 アプリケーション駆動ドメインにおけるビデオ生成モデルのワールドモデリング能力を評価するためのベンチマークであるWorldModelBenchを提案する。
  論文  参考訳（メタデータ） (2025-02-28T03:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。