論文の概要: Same Trajectory, Contradictory Rewards (ROBORMBENCH): Paraphrase Fragility in Vision Language Reward Models

• arxiv url: http://arxiv.org/abs/2609.05401v1
• Date: Fri, 04 Sep 2026 17:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.146281
• Title: Same Trajectory, Contradictory Rewards (ROBORMBENCH): Paraphrase Fragility in Vision Language Reward Models
• Title（参考訳）: 同一軌跡, コントラクトリ・リワード(ROBORMBENCH) : 視覚言語リワードモデルにおけるパラフレーズの脆弱性
• Abstract要約: 現在のVLM報酬モデルは、しばしばこの性質に反することを示す。 この障害モードを測定するために, 2,390個の実ロボット軌道, 地中進行ラベル, 21,673個のパラフレーズを語彙, 構文, 行動ゴールの書き直しに用いたベンチマーク ROBORMBENCH を導入する。 プロプライエタリでオープンソースのVLM全体にわたって、パラフレーズによる不安定性は広く、深刻であり、より異なる書き直しの下で成長し、スケールや明示的な推論によって確実に減少しない。
• 参考スコア（独自算出の注目度）: 31.121465332305153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models are increasingly used as reward functions for robotic learning, but this role requires paraphrase invariance: the same trajectory should receive the same reward under semantically equivalent goal descriptions. We show that current VLM reward models often violate this property. Paraphrasing the instruction alone can substantially change predicted progress scores, and can even flip identical robot behavior between failure and success. To measure this failure mode, we introduce ROBORMBENCH, a benchmark with 2,390 real-robot trajectories, ground-truth progress labels, and 21,673 verified paraphrases spanning lexical, syntactic, and action-goal rewrites. Across proprietary and open-source VLMs, paraphrase-induced instability is widespread and severe, grows under more divergent rewrites, and is not reliably reduced by scale or explicit reasoning. Dedicated reward models trained with trajectory-grounded supervision are substantially more stable. These results show that paraphrase robustness is a core requirement for reliable VLM-based reward modeling in robotics.
• Abstract（参考訳）: 視覚言語モデルはロボット学習の報酬関数としてますます使われているが、この役割にはパラフレーズの不変性が必要であり、同じ軌道は意味論的に等価な目標記述の下で同じ報酬を受けるべきである。 現在のVLM報酬モデルは、しばしばこの性質に反することを示す。 命令のみを言い換えれば、予測された進捗スコアを大きく変えることができ、失敗と成功の間に同じロボットの振る舞いを切り替えることもできる。 この障害モードを測定するために, 2,390個の実ロボット軌道, 地中進行ラベル, 21,673個のパラフレーズを語彙的, 構文的, 行動ゴール的書き直しに用いたベンチマーク ROBORMBENCH を導入する。 プロプライエタリでオープンソースのVLM全体にわたって、パラフレーズによる不安定性は広く、深刻であり、より異なる書き直しの下で成長し、スケールや明示的な推論によって確実に減少しない。 軌道上の監視で訓練された専用報酬モデルは、かなり安定している。 これらの結果は,ロボット工学における信頼性VLMに基づく報酬モデリングのコア要件として,言い換えロバスト性が重要であることを示している。

関連論文リスト

• Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models [20.8047896631941]
  VLA(Vision-Language-Action)モデルは、ロボット操作において優れているが、標準的な指示が言い換えられると破滅的な性能低下を被る。 現状のVLAでは,タスクの正当性を内部的に保持することに成功した。 不安定な関節経路をバイパスするエレガントな介入であるグラウンドド・セマンティック・リバインド(GSR)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T17:02:04Z)
• DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
  強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。 2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。 両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
  論文  参考訳（メタデータ） (2026-07-14T17:59:29Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning [8.073523925328645]
  オンライン強化学習のための唯一の報酬信号として設計されたビデオ言語推論モデル。 我々は、SOLE-R1が24の未確認タスクで成功し、強い視覚言語報酬器を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2026-03-30T17:46:31Z)
• LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models [15.955490895662384]
  本稿では,言語一般化の詳細な解析のためのベンチマークであるLIBERO-Paraを紹介する。 パラフレージングにより22-52ppの連続的な性能劣化が観察された。 本稿では,意味的因子と構文的因子を用いてパラフレーズの難易度を定量化する指標PRIDEを提案する。
  論文  参考訳（メタデータ） (2026-03-30T11:27:34Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• RoboReward: General-Purpose Vision-Language Reward Models for Robotics [124.34685604054312]
  視覚言語モデル(VLM)は、自動報酬モデルとして期待されているが、実際のロボットタスクにおけるそれらの効果は理解されていない。 大規模な実ロボットコーパス上に構築されたロボティクス報酬データセットとベンチマークであるRoboRewardを導入することで、このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2026-01-02T12:47:34Z)
• Model-agnostic Adversarial Attack and Defense for Vision-Language-Action Models [25.45513133247862]
  VLA(Vision-Language-Action)モデルは、ロボット学習において革命的な進歩を遂げている。 この進歩にもかかわらず、その敵意の強固さは未解明のままである。 本稿では,VLAモデルに対する敵パッチ攻撃と対応する防御戦略の両方を提案する。
  論文  参考訳（メタデータ） (2025-10-15T07:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。