論文の概要: RoboJev: An Open Vision-Language Judge for Robot Success Detection

• arxiv url: http://arxiv.org/abs/2610.33718v1
• Date: Sat, 24 Oct 2026 15:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.427899
• Title: RoboJev: An Open Vision-Language Judge for Robot Success Detection
• Title（参考訳）: RoboJev:ロボット成功検出のためのオープンビジョンランゲージ・ジャッジ
• Abstract要約: RoboJev-27Bは、タスクインストラクション、10フレームの操作試行、そして補助カメラから最終フレームを取り出すビジョン言語モデルである。 1回に0.26秒かかり、1回のH100で推測できる。これは1000回の成功予測あたり0.19ドル、GPU時間あたり2.69ドルである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many robot manipulation videos do not indicate whether the task was successfully completed. RoboJev-27B is an open-weight vision-language model that takes a task instruction, 10 frames of a manipulation attempt, and (if available) final frames from auxiliary cameras and predicts whether the robot accomplished the task. RoboJev-27B is a variant of JEV-27B-VL, trained with a rank-32 LoRA adapter on the language model only (keeping the vision encoder frozen) using 52,598 episode records. It also uses a source-specific KL penalty that applies only to research data, anchoring predictions closer to the original model on those sources. It uses a calibrated two-token readout that outputs success/failure probabilities in a single forward pass. On 268 held-out episodes of the same robot model (SO-101), RoboJev-27B attains 95.2% balanced accuracy and 0.993 AUROC. It also generalises to episodes collected by unseen labs/robots (AUROC = 0.890 over 459 episodes) as well as to clearly labelled community-collected episodes (accuracy = 93.3% over 135 episodes), where the base model attains an AUROC = 0.900 on the unseen-lab/robot subset with the same inputs. It takes 0.26 seconds per episode (median, serial) to infer on a single H100, which is about \$0.19 per 1,000 success predictions at \$2.69 per GPU-hour (not including media processing and serving costs). RoboJev-27B is released together with its inference code, along with a transparent evaluation: 20,628 predictions organized into 29 model/protocol entries are made available to facilitate browsing and to enable reproducible benchmarking of success detection. We also compare against strong API-based frontier VLMs, which take in fewer input frames (4 images from the primary camera only); note that this comparison is not strictly like-for-like because RoboJev-27B is given more frames at inference.
• Abstract（参考訳）: 多くのロボット操作ビデオは、タスクが完了したかどうかを示さない。 RoboJev-27Bはオープンウェイトな視覚言語モデルで、タスクインストラクション、操作の10フレーム、そして(可能であれば)補助カメラから最終フレームを取得し、ロボットがタスクを完了したかどうかを予測する。 RoboJev-27BはJEV-27B-VLの派生型で、52,598回の記録を使用して言語モデルのみにランク32のLoRAアダプタで訓練された。 また、ソース固有のKLペナルティを使用して、研究データのみに適用し、元のモデルに近い予測をそれらのソースに固定する。 1回の前方通過で成功/失敗確率を出力するキャリブレーションされた2-tokenリードアウトを使用する。 同じロボットモデルの268回(SO-101)で、RoboJev-27Bは95.2%の精度と0.993のAUROCを達成した。 また、未確認のラボ/ロボット(AUROC = 0.890/459/459/459/459)が収集したエピソードや、コミュニティが収集したエピソード(正確性 = 93.3%/135/)を明確にラベル付けし、ベースモデルは未確認のラボ/ロボットサブセットで0.900(英語版)に達する。 1回あたり0.26秒(中間、シリアル)で、1つのH100を推定し、成功予測1000に対して0.19ドル、GPU時間当たり2.69ドル(メディア処理やサービスコストは含まない)で計算する。 RoboJev-27Bは、推論コードとともにリリースされ、透明な評価とともに、29のモデル/プロトコールエントリにまとめられた20,628の予測が、ブラウジングを容易にし、成功検出の再現可能なベンチマークを可能にするために利用可能である。 また、より少ない入力フレーム(プライマリカメラからの画像のみ)を持つ強力なAPIベースのフロンティアVLMと比較し、RoboJev-27Bは推論時により多くのフレームが与えられるため、この比較は厳密には類似していないことに注意する。

関連論文リスト

• Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation [61.15247763568461]
  本稿では,ロボット利用エージェントフレームワークであるRobo-Harness K1を紹介する。 一致した LIBERO-PRO タスクでは、Gemini 3.7 Flash with K1 が 77.8% に達し、GPT-6 Astra の 61.1% を RGB のみのハーネスで上回った。 RoboTwin では Easy で 32.0%、Hard で 28.0% を達成し、視覚的および環境的な摂動に対するレジリエンスを示している。
  論文  参考訳（メタデータ） (2026-09-24T11:16:18Z)
• G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
  本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。 推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。 G0.5は7つの独立した体制で最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2026-08-12T07:26:47Z)
• VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition [107.13283099863123]
  我々は37ドメインから1,000の異なるアクションをカバーするドメイン固有のアクション認識ベンチマークであるVideoNetを紹介する。 視覚言語モデル(VLM)は、コンテキスト内サンプルを十分に活用するのに苦労している。 ドメイン固有のアクションのための、最初の大規模なトレーニングデータセットを収集し、合計で500万近いビデオ質問応答ペアを収集する。
  論文  参考訳（メタデータ） (2026-05-04T17:11:16Z)
• KITE: Keyframe-Indexed Tokenized Evidence for VLM-Based Robot Failure Analysis [5.437966695589128]
  KITEは、長いロボットの動画を視覚誘導モデル(VLM)のコンパクトで解釈可能なトークン化エビデンスに変換する、トレーニング不要のレイアウト付きフロントエンドである。 KITEは、各軌跡を、開語彙検出と、鳥眼ビュー(EVB)表現とのペアで、小さな動きスキーマの集合に蒸留する。 これらの視覚的手がかりは、ロボットの注目とシーンコンテキストトークンを統一されたプロンプトにシリアライズされ、同じフロントエンドが障害検出、識別、ローカライゼーション、説明、修正をサポートする。
  論文  参考訳（メタデータ） (2026-04-08T12:49:24Z)
• RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning [47.25770917635344]
  本稿では,アノテートされた動作の質を評価し,フィルタする新しい合成ロボットデータ生成フレームワークであるRoboCurateを紹介する。 具体的には、RoboCurateはシミュレータで予測されたアクションをリプレイし、動作の一貫性を測定してアクション品質を評価する。 我々は,RoboCurateが生成したデータに対して,実データのみを使用する場合と比較して,成功率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-02-21T07:33:24Z)
• RoboReward: General-Purpose Vision-Language Reward Models for Robotics [124.34685604054312]
  視覚言語モデル(VLM)は、自動報酬モデルとして期待されているが、実際のロボットタスクにおけるそれらの効果は理解されていない。 大規模な実ロボットコーパス上に構築されたロボティクス報酬データセットとベンチマークであるRoboRewardを導入することで、このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2026-01-02T12:47:34Z)
• RoboPoint: A Vision-Language Model for Spatial Affordance Prediction for Robotics [46.63773228934993]
  本稿では,ロボットドメインやニーズに対して,視覚言語モデル(VLM)を命令チューニングする,自動合成データ生成パイプラインを提案する。 パイプラインを使用して、与えられた言語命令に対する画像キーポイントの価格を予測するVLMであるRoboPointを訓練する。 実験の結果,RoboPointは空間空き量の予測精度が21.8%,下流タスクの成功率が30.5%,最先端VLMが21.8%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-15T19:22:51Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。