論文の概要: Keyframe-Guided Structured Rewards for Reinforcement Learning in Long-Horizon Laboratory Robotics

• arxiv url: http://arxiv.org/abs/2603.00719v1
• Date: Sat, 28 Feb 2026 15:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.787075
• Title: Keyframe-Guided Structured Rewards for Reinforcement Learning in Long-Horizon Laboratory Robotics
• Title（参考訳）: 長軸組立ロボットにおける強化学習のためのキーフレームガイド型構造的リワード
• Authors: Yibo Qiu, Shu'ang Sun, Haoliang Ye, Ronald X Xu, Mingzhai Sun,
• Abstract要約: 実験室自動化における長い水平精度操作は、厳密な手続き論理を尊重するポリシーを必要とする。 既存のアプローチは、報酬の幅、多段階構造制約、ノイズや不完全なデモに苦しむ。 実演から固有のキネマティクス認識を自動的に抽出するKeyframe-Guided Reward Generation Frameworkを提案する。
• 参考スコア（独自算出の注目度）: 2.5005252832780616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon precision manipulation in laboratory automation, such as pipette tip attachment and liquid transfer, requires policies that respect strict procedural logic while operating in continuous, high-dimensional state spaces. However, existing approaches struggle with reward sparsity, multi-stage structural constraints, and noisy or imperfect demonstrations, leading to inefficient exploration and unstable convergence. We propose a Keyframe-Guided Reward Generation Framework that automatically extracts kinematics-aware keyframes from demonstrations, generates stage-wise targets via a diffusion-based predictor in latent space, and constructs a geometric progress-based reward to guide online reinforcement learning. The framework integrates multi-view visual encoding, latent similarity-based progress tracking, and human-in-the-loop reinforcement fine-tuning on a Vision-Language-Action backbone to align policy optimization with the intrinsic stepwise logic of biological protocols. Across four real-world laboratory tasks, including high-precision pipette attachment and dynamic liquid transfer, our method achieves an average success rate of 82% after 40--60 minutes of online fine-tuning. Compared with HG-DAgger (42%) and Hil-ConRFT (47%), our approach demonstrates the effectiveness of structured keyframe-guided rewards in overcoming exploration bottlenecks and providing a scalable solution for high-precision, long-horizon robotic laboratory automation.
• Abstract（参考訳）: ピペット先端アタッチメントや液体移動のような実験室の自動化における長い水平精度操作は、連続した高次元状態空間で操作している間に厳密な手続き論理を尊重するポリシーを必要とする。 しかし、既存のアプローチは報酬の空間性、多段階構造的制約、ノイズや不完全なデモに悩まされ、非効率な探索と不安定な収束につながった。 実演からキネマティクスを意識したキーフレームを自動的に抽出し,潜時空間における拡散型予測器を介して段階的目標を生成するキーフレームガイド型リワード生成フレームワークを提案する。 このフレームワークは、多視点の視覚的エンコーディング、遅延類似性に基づく進捗追跡、およびビジョン・ランゲージ・アクションのバックボーン上でのヒューマン・イン・ザ・ループの微調整を統合し、ポリシー最適化と生物学的プロトコルの本質的なステップワイズ論理を整合させる。 実世界の4つの実験室において,40～60分間のオンライン微調整を行った後,高精度ピペット付着と動的液移動を含む平均82%の成功率を達成した。 HG-DAgger (42%) とHil-ConRFT (47%) と比較して,本手法は探索ボトルネックを克服し,高精度で長期のロボットラボ自動化のためのスケーラブルなソリューションを提供するために,構造化キーフレーム誘導報酬の有効性を示す。

関連論文リスト

• Shape Control of a Planar Hyper-Redundant Robot via Hybrid Kinematics-Informed and Learning-based Approach [42.55947704321053]
  ハイパー冗長ロボットは、厳密で非構造的な環境での操作をうまく行うことができる。 到達可能な作業空間を拡張するために,多段式フレキシブルラック作動型平面ロボットを開発した。 本研究では,SpatioCoupledNet というハイブリッドキネマティクス・インフォームド・学習型形状制御手法を提案する。
  論文  参考訳（メタデータ） (2026-03-11T04:35:06Z)
• Euphonium: Steering Video Flow Matching via Process Reward Gradient Guided Stochastic Dynamics [49.242224984144904]
  本稿では,プロセス報酬勾配誘導ダイナミクスによる生成を支援する新しいフレームワークであるEuphoniumを提案する。 我々の重要な洞察は、プロセス・リワード・モデルの勾配を明示的に組み込んだ理論的に原理化されたアルゴリズムとしてサンプリング・プロセスを定式化することである。 我々は,誘導信号をフローネットワークに内部化する蒸留目標を導出し,報奨モデルへの推論時間依存性を排除した。
  論文  参考訳（メタデータ） (2026-02-04T08:59:57Z)
• Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering [59.18634614089481]
  超長距離機械学習工学(MLE)を習得する自律エージェントML-Master 2.0を提案する。 文脈管理を認知的蓄積のプロセスとして考えることで、階層的認知キャッシング(HCC)を導入する。 HCCは、エージェントが短期的な実験戦略から即時実行を分離することを可能にする。 オープンAIのMLE-Benchを24時間予算で評価すると、ML-Master 2.0は56.44%の最先端のメダルを獲得した。
  論文  参考訳（メタデータ） (2026-01-15T13:52:04Z)
• DualGazeNet: A Biologically Inspired Dual-Gaze Query Network for Salient Object Detection [52.32976488996896]
  我々はDualGazeNetを紹介した。DualGazeNetは、純粋なトランスフォーマーフレームワークで、有能なオブジェクト検出を行う。 5つのRGBベンチマークの実験によると、DualGazeNetは25の最先端CNNとTransformerベースのメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-24T08:08:22Z)
• A Cross-Environment and Cross-Embodiment Path Planning Framework via a Conditional Diffusion Model [6.482051262912219]
  本研究の目的は、未確認環境や新しいロボットマニピュレータに再訓練せずに一般化できる経路計画フレームワークを開発することである。 本稿では,Voxelized scene representationsに基づく共同空間軌跡を生成する拡散型計画モデルであるGADGETを提案する。 実験結果から,GADGETは球状障害物,ビンピッキング,シェルフ環境において衝突強度の低い高い高い成功率を達成できた。
  論文  参考訳（メタデータ） (2025-10-21T23:30:14Z)
• SpatialLadder: Progressive Training for Spatial Reasoning in Vision-Language Models [73.19077622773075]
  本稿では,空間知能を段階的に構築するための包括的方法論を提案する。 オブジェクトローカライゼーション、単一画像、マルチビュー、ビデオ空間推論タスクにまたがる26,610のサンプルを含むマルチモーダルデータセットであるSpatialLadder-26kを紹介する。 本研究では,物体の局所化による空間知覚の確立,多次元空間的タスクによる空間理解の発達,および検証可能な報酬を用いた強化学習による複雑な推論の強化を目的とした3段階のプログレッシブ・トレーニング・フレームワークを設計する。
  論文  参考訳（メタデータ） (2025-10-09T17:50:54Z)
• From Seeing to Doing: Bridging Reasoning and Decision for Robotic Manipulation [35.79160868966466]
  FSD(From Seeing to Doing)は空間関係推論により中間表現を生成する新しい視覚言語モデルである。 提案手法は,空間座標を視覚信号と整列する自己整合性機構と,階層的なデータパイプラインを併用する。 我々は、FSDがSimplerEnvで40.6%の成功率、実世界の8つのタスクで72%の成功率を達成したことを示し、最強のベースラインを30%上回った。
  論文  参考訳（メタデータ） (2025-05-13T13:20:46Z)
• Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
  この研究は、長期水平予測、エラー蓄積、およびsim-to-real転送の課題に対処することで、モデルに基づく強化学習を前進させる。 スケーラブルでロバストなフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
  論文  参考訳（メタデータ） (2025-01-17T10:39:09Z)
• Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
  強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。 本稿では,複数の側面からなる学習型制御フレームワークを提案する。 ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
  論文  参考訳（メタデータ） (2021-09-07T00:51:12Z)
• First Steps: Latent-Space Control with Semantic Constraints for Quadruped Locomotion [73.37945453998134]
  従来の四重化制御のアプローチでは、単純化された手作りのモデルが採用されている。 これにより、有効な運動範囲が縮小されているため、ロボットの能力が大幅に低下する。 この研究において、これらの課題は、構造化潜在空間における最適化として四重化制御をフレーミングすることによって解決される。 深い生成モデルは、実現可能な関節構成の統計的表現を捉え、一方、複雑な動的および終端的制約は高レベルな意味的指標によって表現される。 実世界とシミュレーションの両方で最適化された移動軌跡の実現可能性を検証する。
  論文  参考訳（メタデータ） (2020-07-03T07:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。