論文の概要: ARS: Agentic Reward System for Robot Learning

• arxiv url: http://arxiv.org/abs/2609.34484v1
• Date: Mon, 28 Sep 2026 07:37:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:11:47.933435
• Title: ARS: Agentic Reward System for Robot Learning
• Title（参考訳）: ARS:ロボット学習のためのエージェント・リワードシステム
• Abstract要約: Agentic Reward System (ARS) は、進捗報酬モデリングのための推論フレームワークである。 ARSは、イベントの提案と検証の両方に適応的な視覚検査を使用する。 ARSは、任意の端末結果ラベルと視覚的参照を組み込んで判断を通知することができる。
• 参考スコア（独自算出の注目度）: 9.149707597640221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Progress reward modeling is the problem of estimating how a robot's behavior changes task progress over time. Reliable estimation requires distinguishing meaningful state changes from failed attempts and task-irrelevant actions. We introduce the Agentic Reward System (ARS), an inference framework for progress reward modeling with general-purpose vision-language models (VLMs), without additional reward-model training. Given an offline trajectory and a task instruction, ARS uses adaptive visual inspection for both event proposal and verification. A subagent proposes a task-relevant event timeline, which a primary agent verifies and revises before estimating per-frame progress. ARS can incorporate optional terminal outcome labels and visual references to inform its judgments. It can also audit progress estimates from external reward models. We evaluate ARS with a 27B VLM on a controlled semantic-mismatch benchmark and downstream policy learning in simulation and on a real robot. The benchmark reveals that several evaluated reward baselines assign spurious progress to wrong-object manipulation even in simple pick-and-place scenes. ARS better suppresses these errors and outperforms these baselines in simulation policy learning. We further demonstrate that ARS supports long-horizon policy learning from mixed-quality offline experience on real-robot multi-screw fastening in a full-scale laboratory replica of an industrial washing-machine assembly line. These results suggest that structured inference and verification can improve the usefulness of general-purpose VLMs for robot reward modeling. Code is at https://github.com/midea-ai/ars
• Abstract（参考訳）: プログレッシブ報酬モデリングは、ロボットの動作が時間とともにタスクの進捗をどのように変化させるかを推定する問題である。 信頼性の高い推定には、失敗した試行やタスク非関連アクションと意味のある状態変化を区別する必要がある。 本稿では,汎用視覚言語モデル(VLM)を用いたプログレッシブ・リワード・モデリングのための推論フレームワークであるエージェント・リワード・システム(ARS)について紹介する。 オフラインの軌道とタスク命令が与えられた場合、ARSはイベントの提案と検証の両方に適応的な視覚検査を使用する。 サブエージェントはタスク関連イベントタイムラインを提案し、プライマリエージェントがフレームごとの進捗を推定する前に検証し、修正する。 ARSは、任意の端末結果ラベルと視覚的参照を組み込んで判断を通知することができる。 また、外部報酬モデルからの進捗予測を監査することもできる。 制御されたセマンティック・ミスマッチ・ベンチマークで27B VLMを用いてARSを評価し,シミュレーションおよび実ロボットで下流ポリシー学習を行った。 ベンチマークでは、いくつかの評価された報酬ベースラインが、単純なピック・アンド・プレイスシーンであっても、間違ったオブジェクト操作に急激な進歩を割り当てていることが明らかになった。 ARSはこれらのエラーを抑え、シミュレーションポリシー学習においてこれらのベースラインを上回ります。 さらに, 産業用洗濯機組立ラインの大規模模擬実験室において, 実ロボットのマルチスクリュー締め付けにおける高品質なオフライン体験から, ARSが長期水平政策学習を支援することを実証した。 これらの結果から,ロボット報酬モデルにおける汎用VLMの有用性は,構造化推論と検証により向上することが示唆された。 コードはhttps://github.com/midea-ai/arsにある。

関連論文リスト

• Find Something You Can't Do: Agentic Real-World Reinforcement Learning for Self-Improving VLA Models [17.22121928229907]
  textbfFINDはエージェントによる実世界の強化学習フレームワークである。 シーン理解、弱点を認識した実践、自己評価、政策改善のループを閉じます。 代表者は6時間以内に456回の自律的なエピソードを完了させる。
  論文  参考訳（メタデータ） (2026-09-25T23:06:53Z)
• HarnessPAI: An Evolving Harness for Physical AI [64.91964104275483]
  本稿では,物理AIのためのモデルおよび具体化に依存しないフレームワークであるHarnessPAIを紹介する。 ロールアウト内では、プログラムレベルでオープンループを実行する。 デスクトップロボットアーム、家庭用ロボット、ロボット掃除機、そして歩行エージェントのHarnessPAIは、純粋なアクションモデルとコード・アズ・ポリティクスのベースラインの両方を改善している。
  論文  参考訳（メタデータ） (2026-09-24T07:40:00Z)
• CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
  VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。 本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
  論文  参考訳（メタデータ） (2026-09-21T05:14:34Z)
• FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation [43.89036551517797]
  VLA(Vision-Language-Action Models)は、複雑な長距離ロボット操作タスクへの一般化において、大きな可能性を証明している。 彼らのパフォーマンスは、通常、軌道単調で障害のないデモンストレーションで訓練されるため、不安定なままである。 我々は、リトライとリセットのパラダイムを通じて、堅牢なエラー回復機能を備えたVLAを実現する新しいフレームワークであるFLAREを提案する。
  論文  参考訳（メタデータ） (2026-08-27T05:58:06Z)
• From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement [56.26277769790695]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、推論指向の大規模言語モデル(LLM)の最近の進歩を推進している。 本稿では、RLVRをオープンなタスクに拡張するためのタスク変換に基づくトレーニングパラダイムであるRLSVR(Reinforcement Learning with Self-Verifiable Rewards)を提案する。 ソーシャルデダクションゲームにインスパイアされた自己PlaY強化学習手法SpyRLでRTSVRをインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-26T19:04:33Z)
• DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
  強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。 2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。 両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
  論文  参考訳（メタデータ） (2026-07-14T17:59:29Z)
• ProgAgent:A Continual RL Agent with Progress-Aware Rewards [0.07646713951724009]
  ProgAgentは、プログレッシブアウェアの報酬学習をJAXネイティブシステムアーキテクチャと統合する継続的強化学習エージェントである。 これは、初期、現在、および目標観測におけるタスクの進捗を推定する知覚モデルを通じて、ラベルなしのエキスパートビデオから、密集した形をした報酬を導き出す。 ProgAgentは、非常に並列なロールアウトと完全に異なる更新をサポートし、洗練された統合された目標の実現を可能にする。
  論文  参考訳（メタデータ） (2026-03-08T19:58:07Z)
• Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
  VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。 標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。 本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:25:43Z)
• Task Success is not Enough: Investigating the Use of Video-Language Models as Behavior Critics for Catching Undesirable Agent Behaviors [22.728139463769896]
  大規模生成モデルは意味のある候補解を抽出するのに有用であるが、それらはしばしばタスク制約やユーザの好みを見落としている。 具体的AIの文脈では、検証は多くの場合、命令で指定された目標条件が満たされたかどうかのみを評価する。 ロボットタスクのスコープを考えると、Goのような明示的な知識タスクに使用されるものに似たスクリプト検証を構築することは不可能である。 大きなビジョンと言語モデル(VLM)は、ビデオの中の望ましくないロボットの振る舞いを捉えるために、スケーラブルな行動批判として、ほぼ全能的なものですか?
  論文  参考訳（メタデータ） (2024-02-06T18:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。