論文の概要: Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation

• arxiv url: http://arxiv.org/abs/2609.07211v1
• Date: Mon, 07 Sep 2026 08:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 01:12:02.154234
• Title: Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation
• Title（参考訳）: 手術操作におけるスパース・リワード強化学習のための第1次・第1次VLMフィードバック
• Abstract要約: スパース・リワード強化学習では、終末報酬は同じ結果にそのような試みが崩壊する。 記録されたエピソードごとの1つのVLMクエリは、最も視覚的に検証されたタスクフェーズを識別する。 5つのシミュレートされたタスクにおいて,提案手法は平均75.2%に到達し,コントラスト言語-画像事前学習に基づく報酬は52.1%となった。
• 参考スコア（独自算出の注目度）: 18.513281440175113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse outcome feedback limits what robots can learn from unsuccessful attempts at complex manipulation. Failed multi-stage surgical attempts can contain grasps, lifts, or transfers worth reusing. In sparse-reward reinforcement learning, terminal rewards collapse such attempts to the same outcome, while scalar vision-language model (VLM) ratings reveal neither what progress merits credit nor when it occurred. We introduce phase-and-first-arrival feedback: one VLM query per recorded episode identifies the furthest visually verified task phase and when that phase is first reached, allowing the learner to reuse partial behavior and localize credit. We instantiate it in SurgPhaseBench, a phase-structured suite spanning rigid and deformable tasks, and evaluate it in simulation and hardware. Across five simulated tasks, our method reaches 75.2% mean success, compared with 52.1% for a reward based on Contrastive Language-Image Pre-training (CLIP) using the same visual input; the advantage persists when only the feedback representation changes. On hardware, the same record supports autonomous block picking and slip recovery. Together, these results show that trajectory-level visual supervision can preserve partial progress while providing the temporal credit needed for sparse-reward control.
• Abstract（参考訳）: 粗末な結果フィードバックは、複雑な操作の失敗からロボットが学べるものを制限する。 欠損した多段階の外科的試みは、再利用に値する握手、リフト、移動を含むことができる。 スパース・リワード強化学習では、終末報酬が同じ結果に崩壊する一方、スカラー視覚言語モデル(VLM)は、どの進歩が信用に値するのか、いつ起こったのかを明らかにしない。 記録されたエピソード毎の1つのVLMクエリは、最も視覚的に検証されたタスクフェーズを特定し、そのフェーズが最初に到達したとき、学習者が部分的振る舞いを再利用し、クレジットをローカライズすることを可能にする。 SurgPhaseBenchは、厳密で変形可能なタスクにまたがる位相構造化スイートで、シミュレーションとハードウェアで評価する。 5つのシミュレートされたタスクにおいて,提案手法は平均75.2%に到達し,コントラスト言語-画像事前学習(CLIP)に基づく報酬は52.1%となった。 ハードウェアでは、同じレコードが自律的なブロックピックとスリップリカバリをサポートしている。 これらの結果から, 軌跡レベルの視覚的監督は部分的進行を保ちながら, スパース・リワード制御に必要な時間的信用を提供することができた。

関連論文リスト

• Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation [51.43645327777772]
  そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。 観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。 オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
  論文  参考訳（メタデータ） (2026-08-19T10:44:20Z)
• DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
  強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。 2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。 両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
  論文  参考訳（メタデータ） (2026-07-14T17:59:29Z)
• Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation [13.13689771374717]
  本研究では,テスト時に積極的に推論された視点の列に対して,行動予測を条件付ける模倣学習手法であるSeries2Actを提案する。 このポリシーは、オフラインのデモからアクションに固定されたカメラのポーズを使って訓練され、行動の仕方を学びながら、どこを見るべきかを暗黙的に学ぶことができる。
  論文  参考訳（メタデータ） (2026-06-22T17:19:57Z)
• Retrospective Progress-Aware Self-Refinement for LLM Agent Training [55.2682415036601]
  ReProは、フォワード-then-reflectロールアウトパラダイムを通じてプログレスシグナルを自己生成するようにエージェントを訓練するフレームワークである。 ReProはQwenファミリーのパフォーマンスを高め、最大で12%の絶対的な成功率を得る。
  論文  参考訳（メタデータ） (2026-06-12T09:38:47Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Phase-Conditioned Imitation Learning with Autonomous Failure Recovery for Robust Deformable Object Manipulation [5.524438437366922]
  変形可能なオブジェクト操作のための位相条件付き力覚フレームワークを提案する。 FiLM条件のACTエンコーダは、現在のタスクフェーズに基づいて特徴抽出を変調する。 視覚、力、ポーズフィードバックを融合させた多モード位相予測器は、視覚単独では見えない接触障害をリアルタイムで推定する。
  論文  参考訳（メタデータ） (2026-05-28T05:59:53Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。