論文の概要: Progress Reward Modeling for Robotic Learning: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2607.21655v1
- Date: Wed, 22 Jul 2026 19:29:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:56.945216
- Title: Progress Reward Modeling for Robotic Learning: A Comprehensive Survey
- Title（参考訳）: ロボット学習のためのプログレス・リワード・モデリング : 総合的な調査
- Abstract要約: 端末成功信号は、タスクが完了したかどうかのみロボットに通知する。
近年、タスク実行中にフィードバックを提供する進捗報酬について研究が進んでいる。
既存の方法は、異なる観測、目標仕様、出力信号、監督源、評価プロトコルを使用する。
これにより、それらを比較して、結果が実際に何を検証するのかを理解するのが難しくなります。
- 参考スコア（独自算出の注目度）: 18.0494714278744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic learning takes place in dynamic environments with large behavior spaces. A terminal success signal only tells the robot whether the task is completed. It does not explain whether the current behavior is making progress, remaining unchanged, or undoing earlier progress. For this reason, recent studies have increasingly explored progress rewards that provide feedback during task execution. However, the current literature lacks a shared framework. Existing methods use different observations, goal specifications, output signals, supervision sources, and evaluation protocols. This makes it difficult to compare them and understand what their results actually validate. In this survey, we provide a unified view of progress reward modeling for robotic learning. We organize the field in three connected steps. We first study the interface of a progress model. This defines the problem from the outside by asking what information the model receives and what form of progress signal it produces. We then move inside the model and study the methods used to construct this signal. This reveals the different assumptions and mechanisms behind progress estimation and reward generation. Finally, we examine the data and benchmarks that support these methods. This shows how progress supervision is obtained and what different evaluations actually measure. Together, these three perspectives connect what a progress model is, how it is built, and how its quality is validated. We further summarize the main limitations of current approaches and discuss future research directions.
- Abstract（参考訳）: ロボット学習は、大きな行動空間を持つ動的環境で行われる。
端末成功信号は、タスクが完了したかどうかのみロボットに通知する。
現在の動作が進行しているのか、変化していないのか、あるいは未進行なのかは説明できない。
このため、最近の研究では、タスク実行中にフィードバックを提供する進捗報酬について研究が進められている。
しかし、現在の文献には共有フレームワークがない。
既存の方法は、異なる観測、目標仕様、出力信号、監督源、評価プロトコルを使用する。
これにより、それらを比較して、結果が実際に何を検証するのかを理解するのが難しくなります。
本研究では,ロボット学習における進歩報酬モデリングの統一的な視点を提供する。
私たちは3つの接続されたステップでフィールドを整理します。
まず、進捗モデルのインターフェースについて研究する。
これは、モデルがどの情報を受信し、どの形式のプログレス信号を生成するかを尋ねることで、外部からの問題を定義する。
次に、モデルの内部を移動し、この信号を構成するのに使用される方法を研究する。
これは、進捗推定と報奨生成の裏にある様々な仮定とメカニズムを明らかにする。
最後に,これらの手法をサポートするデータとベンチマークについて検討する。
これは、進捗監視がどのように取得され、どのような評価が実際に測定されるかを示す。
これら3つの視点は、進捗モデルが何であるか、どのように構築され、どのように品質が検証されるのかを結びつける。
さらに、現在のアプローチの主な限界を要約し、今後の研究方向性について論じる。
関連論文リスト
- World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。
これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。
可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
論文 参考訳（メタデータ） (2026-09-15T06:22:42Z) - Monkey See, Can Monkey Do? A Benchmark for Evaluating Robot Skill Learning by Observation [6.576658827863041]
観察から学ぶ(LfO)は、人間と動物が互いに社会的に学習する方法を再現する基本的なロボット機能である。
近年の研究では、人間のビデオから操作スキルを学ぶことの有望な成果が示されている。
人間のビデオからポリシーを学ぶモデルを評価するための統一ベンチマークであるRoboReelを紹介する。
論文 参考訳（メタデータ） (2026-09-08T03:48:44Z) - Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation [51.43645327777772]
そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。
観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。
オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
論文 参考訳（メタデータ） (2026-08-19T10:44:20Z) - Can In-Context Learning Support Intrinsic Curiosity? [25.43664318918942]
本稿では,このボトルネックを解消できるかどうかを考察する。
具体的には,学習の進展を最大化するために,探索政策を訓練できるかどうかを評価する。
非時間的設定の幅広いサブクラスに対して肯定的な結果を示す。
論文 参考訳（メタデータ） (2026-06-17T18:11:06Z) - ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。
本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。
CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
論文 参考訳（メタデータ） (2026-03-29T12:38:11Z) - PROGRESSLM: Towards Progress Reasoning in Vision-Language Models [10.481670664271073]
タスクの進捗を見積もるには、静的な視覚的内容を認識するのではなく、長い水平運動を推理する必要がある。
本稿では,視覚言語モデルにおける進捗推論を体系的に評価するベンチマークであるProgress-Benchを紹介する。
さらに、トレーニングフリープロンプトとトレーニングベースアプローチの両方を通じて、人間にインスパイアされた2段階進行推論パラダイムについて検討する。
論文 参考訳（メタデータ） (2026-01-21T17:56:59Z) - Playpen: An Environment for Exploring Learning Through Conversational Interaction [84.0413820245725]
本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。
本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。
SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
論文 参考訳（メタデータ） (2025-04-11T14:49:33Z) - How Much Progress Did I Make? An Unexplored Human Feedback Signal for Teaching Robots [6.288170490755676]
タスクの完了率を表すために設計されたテキストプログレス(textitprogress)を特徴付ける。
進捗は、タスクが成功したかどうかを示し、タスク完了の度合いを反映し、非生産的だが無害な振る舞いを識別し、参加者間でより一貫性がある可能性が高いことを発見した。
我々の研究のさらなる貢献は、アイスクリームトッピング付加タスクを通じて、パブリックスペーススタディから40の非専門家によるデモンストレーションのデータセットである。
論文 参考訳（メタデータ） (2024-07-08T23:47:13Z) - Is there progress in activity progress prediction? [19.841311026235875]
その結果,現在の進捗予測手法では,進捗予測タスクに有用な視覚情報を抽出できないことがわかった。
本研究では,活動進行予測のための精密制御されたデータセットを設計し,この合成データセットを用いて視覚情報を利用する方法を示す。
我々は,現在使用されている実世界のデータセットに進捗予測タスクが悪用されていることを結論付けた。
論文 参考訳（メタデータ） (2023-08-10T12:23:47Z) - Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。
本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
論文 参考訳（メタデータ） (2022-10-10T05:51:40Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T23:59:09Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。