論文の概要: Intrinsic Robot Rewarding: Reusing VLA Representations for Autonomous Evaluation and Policy Improvement

• arxiv url: http://arxiv.org/abs/2609.17115v1
• Date: Tue, 15 Sep 2026 12:42:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.526632
• Title: Intrinsic Robot Rewarding: Reusing VLA Representations for Autonomous Evaluation and Policy Improvement
• Title（参考訳）: 内在型ロボットリワード:自律的評価と政策改善のためのVLA表現の再利用
• Abstract要約: Intrinsic Robot Rewarding (IRR)は、ロボット自身の成果を評価し、ポリシー改善のためのフィードバックを提供するためのリソースの使用を提案する。 成功したデモエンドポイントはタスク固有の参照を定義し、ポリシーの凍結されたビジュアルエンコーダは、新しい結果が評価される機能空間を提供する。 我々の立場では、この再利用は統合の労力を減らし、効率の良い報酬計算を行い、人間の結果の繰り返しのスコアを減らし、有望な経路を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) systems already bring together two valuable resources for robot learning: rich visual representations and demonstrations of successful task execution. Intrinsic Robot Rewarding (IRR) proposes to use these resources for a second, complementary purpose: evaluating the robot's own outcomes and providing feedback for policy improvement. Successful demonstration endpoints define task-specific references, and the policy's frozen visual encoder provides the feature space in which new outcomes are assessed. The core reward mechanism adds a reference bank and a scoring operation to the existing pipeline, without requiring a separate learned evaluator or an additional perception backbone. Our position is that this reuse offers a promising route to lower integration effort, efficient reward computation, and reduced recurring human outcome scoring. Building on established research in visual rewards and learning from experience, IRR brings these ideas into the robot's existing perception and demonstration pipeline. An operational COMAU Racer 3 demonstrator is available at technology readiness level 4 (TRL 4). This laboratory foundation supports the next research step: connecting internal outcome evaluation to physical policy improvement. We present the reward formulation, central research questions, and an evaluation methodology linking reward reliability to task success and supervision effort. The intended contribution is a reusable approach to learn and improve from the data and experience already available in industrial robot systems.
• Abstract（参考訳）: 視覚言語アクション(VLA)システムは、ロボット学習のための2つの貴重なリソースを既に集めている。 Intrinsic Robot Rewarding (IRR)は、ロボット自身の成果を評価し、政策改善のためのフィードバックを提供するという、2つ目の補完的な目的のためにこれらのリソースを使用することを提案する。 成功したデモエンドポイントはタスク固有の参照を定義し、ポリシーの凍結されたビジュアルエンコーダは、新しい結果が評価される機能空間を提供する。 コア報酬メカニズムは、個別の学習評価器や追加の知覚バックボーンを必要とせずに、参照バンクとスコア操作を既存のパイプラインに追加する。 我々の立場では、この再利用は統合の努力を減らし、報酬の効率的な計算を行い、人間の結果の繰り返しのスコアを減らし、有望な経路を提供する。 視覚的な報酬と経験から学ぶための確立した研究に基づいて、IRRはこれらのアイデアをロボットの既存の知覚と実証パイプラインに持ち込む。 技術準備レベル4(TRL 4)で運用中のCOMAU Racer 3デモ機が利用可能である。 本研究財団は、内的成果評価と身体的政策改善を結びつける次の研究ステップを支持する。 本稿では、報酬の定式化、中央研究課題、報酬の信頼性とタスクの成功と監督の取り組みを結びつける評価手法について述べる。 このコントリビューションは、産業用ロボットシステムですでに利用可能なデータと経験から学び、改善するための再利用可能なアプローチである。

関連論文リスト

• Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
  Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。 我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
  論文  参考訳（メタデータ） (2026-04-15T05:44:14Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models [19.819472980239826]
  我々は最先端のVLMに基づく堅牢でスケーラブルな報酬モデルを開発する。 我々は、これらのVLM報酬を用いて、閉ループ方式で準最適動作を補正するモデルを導出する。
  論文  参考訳（メタデータ） (2026-03-17T02:22:16Z)
• RoboReward: General-Purpose Vision-Language Reward Models for Robotics [124.34685604054312]
  視覚言語モデル(VLM)は、自動報酬モデルとして期待されているが、実際のロボットタスクにおけるそれらの効果は理解されていない。 大規模な実ロボットコーパス上に構築されたロボティクス報酬データセットとベンチマークであるRoboRewardを導入することで、このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2026-01-02T12:47:34Z)
• Leveraging LLMs for reward function design in reinforcement learning control tasks [0.0]
  本稿では,LEARN-Opt (LLM-based Evaluator and Analyzer for Reward functioN Optimization)を紹介する。 このフレームワークは、システムやタスク目標のテキスト記述から報酬関数候補を生成し、実行し、評価する。 実験の結果,LEARN-Optは最先端手法に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-11-24T17:55:46Z)
• Learning to Evaluate Autonomous Behaviour in Human-Robot Interaction [26.765285050287247]
  軌道性能に着目し,Imitation Learning(IL)手法の質を評価する汎用評価フレームワークを提案する。 我々は,ロボット関節軌跡からの動作の分類を訓練した深層学習モデルNeMEを考案した。 我々は,人型ロボットであるergoCubの遠隔操作データを用いて,利用可能なプラットフォームに適したIL法の比較を行い,本フレームワークの有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-08T21:12:57Z)
• Next-Future: Sample-Efficient Policy Learning for Robotic-Arm Tasks [6.991281327290525]
  我々は,単一ステップ遷移に対する報酬に焦点を当てた新しいリプレイ戦略「Next-Future」を紹介する。 このアプローチは、マルチゴールマルコフ決定過程の学習におけるサンプル効率と精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-15T14:45:51Z)
• PROGRESSOR: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement [16.768912344111946]
  本稿では,タスクに依存しない報酬関数をビデオから学習するフレームワークであるProgESSORを提案する。 ProGRESSORは、ロボットが外部の監督なしに複雑な動作を学習できるようにする。
  論文  参考訳（メタデータ） (2024-11-26T04:17:51Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [82.46975428739329]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning [55.2080971216584]
  本稿では、強化学習(RL)における探索を強化するため、知的かつ適応的に高品質な固有報酬を提供する自動固有リワード整形法を提案する。 我々は,多様な固有報酬手法の効率的かつ信頼性の高い実装を実現するために,固有報酬ツールキットを開発した。
  論文  参考訳（メタデータ） (2023-01-26T01:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。