論文の概要: Enhancing Deep Reinforcement Learning for Robotic Motion Planning via Task Decomposition

• arxiv url: http://arxiv.org/abs/2610.35494v1
• Date: Mon, 26 Oct 2026 14:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.027058
• Title: Enhancing Deep Reinforcement Learning for Robotic Motion Planning via Task Decomposition
• Title（参考訳）: タスク分割によるロボット運動計画のための深層強化学習の強化
• Abstract要約: シミュレーションにおけるロボット操作の訓練は、安全性とコスト効率のために広く採用されている。 しかし、障害を伴うタスクは未完成のままであり、しばしばDeep Reinforcement Learningの下でゆっくりと収束する。 本稿では,学習効率と障害物環境の堅牢性を改善するために,Transfer Learning(TL)とReward Redesign(RR)を統合したDRLのためのタスク分解フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.9398100621147465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training robotic manipulation policies in simulation is widely adopted due to safety and cost efficiency; however, tasks involving obstacles remain under-performing and often converge slowly under Deep Reinforcement Learning (DRL). To address this challenge, we propose a task decomposition framework for DRL that integrates Transfer Learning (TL) with Reward Redesign (RR) to improve learning efficiency and robustness in obstacle environments. The TL strategy selectively transfers only the first-layer critic parameters across structurally related tasks, since that layer captures general state--action representations while deeper layers encode reward- and obstacle-specific value geometry; RR decomposes tasks into staged sub-objectives to provide denser optimization signals. Experiments on the PyBullet Panda platform show consistent gains in obstacle settings. On Push with obstacle, our method achieves $0.83 \pm 0.05$, outperforming the strongest baseline (Truncated Quantile Critics (TQC), $0.77 \pm 0.06$) by approximately $7.8\%$. On Slide with obstacle, performance reaches $0.95 \pm 0.02$, exceeding Soft Actor-Critic (SAC) ($0.84 \pm 0.06$) by about $11\%$ success rates. In addition to higher final performance, forward transfer reduces convergence time by up to $70\%$ in obstacle tasks, and RR shortens sparse-reward Pick-and-Place training from roughly $0.75$M to $0.20$M steps ($\approx73\%$ reduction). The best policy is deployed on a real Franka Emika FR3 robot as a qualitative feasibility demonstration.
• Abstract（参考訳）: シミュレーションにおけるロボット操作のトレーニングは、安全性とコスト効率のために広く採用されているが、障害を伴うタスクは未達成のままであり、しばしばDeep Reinforcement Learning (DRL)の下でゆっくりと収束する。 この課題に対処するために,DRL のタスク分解フレームワークを提案する。このフレームワークは移動学習(TL)とリワード再設計(RR)を統合し,障害物環境における学習効率と堅牢性を向上させる。 TL戦略は、その層が一般的な状態-行動表現をキャプチャし、深い層が報酬と障害物固有値幾何をエンコードするので、構造関連タスクにまたがる第1層の批判パラメータのみを選択的に転送する。 PyBullet Pandaプラットフォームの実験は、障害物設定において一貫した利得を示している。 障害のあるPushでは、この手法は0.83 \pm 0.05$を達成し、最強のベースライン(TQC、0.77 \pm 0.06$)を約7.8\%で上回ります。 障害のあるSlideでは、パフォーマンスが0.95 \pm 0.02$に達し、Soft Actor-Critic (SAC)(0.84 \pm 0.06$)を約11\%の成功率で上回る。 最終性能の向上に加えて、フォワード転送は障害タスクにおいて最大で70\%の収束時間を短縮し、RRはスパース・リワード・ピック・アンド・プレイスのトレーニングをおよそ0.75$Mから0.20$M(\approx73\%の削減)に短縮する。 最良のポリシーは、定性的な実現可能性の実証として、本物のFranka Emika FR3ロボットに展開される。

関連論文リスト

• TACIT-Switch: Cost-Aware Model Escalation for LLM Agents from Censored Supervision [2.681967953218225]
  より小さな言語モデルバックボーンを持つエージェントは永続的な障害モードにドリフトできるが、より大きなバックボーンを持つエージェントは一般的により信頼性が高いがよりコストがかかる。 この信頼性の高いトレードオフは、より大きなバックボーンを持つエージェントをいつ呼び出すかを決定するルーティングメソッドを動機付けます。 提案手法であるTACIT-SWITCHは,蓄積された軌跡の証拠から永久的ハンドオフポリシーを学習する。
  論文  参考訳（メタデータ） (2026-08-28T04:33:11Z)
• Semantic Risk-Aware Heuristic Planning for Robotic Navigation in Dynamic Environments: An LLM-Inspired Approach [0.0]
  大言語モデル(LLM)の推論原理を古典的なロボット経路計画に統合することは、急速に発展する研究の方向性を表している。 本研究では,LLMにインスパイアされたコスト関数を符号化したSRAH(Semantic Risk-Aware Heuristic)プランナを提案する。 この結果から,軽量でLCMにインスパイアされたプランナーでも,自律型ロボットナビゲーションの安全性とロバスト性を高めることが示唆された。
  論文  参考訳（メタデータ） (2026-05-04T17:38:12Z)
• T$^2$PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning [47.366245851156215]
  Token- and Turn-level Policy Optimization (T$2$PO)は、きめ細かいレベルで探索を明示的に制御する不確実性対応のフレームワークである。 WebShop, ALFWorld, Search QAなど,様々な環境でT$2$POを評価した。
  論文  参考訳（メタデータ） (2026-05-04T03:15:56Z)
• A1: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model [112.9420001646428]
  VLA(Vision-Language-Action)モデルは、オープンワールドロボット操作の強力なパラダイムとして登場したが、実際の展開はコストに制約されることが多い。 我々は、低コストで高スループットな推論のために設計された、完全にオープンソースで透明なVLAフレームワークであるA1を提示する。 A1は最先端の成功率を達成すると同時に、推論コストを大幅に削減する。
  論文  参考訳（メタデータ） (2026-04-07T10:18:40Z)
• ARM: Advantage Reward Modeling for Long-Horizon Manipulation [7.739778332184609]
  本稿では,絶対的な進歩から相対的な優位性を推定するフレームワークを提案する。 我々は,高いアノテータの整合性を確保しつつ,人間の認知的オーバーヘッドを低減し,費用対効果の高い三状態ラベリング戦略を導入する。 提案手法は,従来のVLAベースラインよりも安定性とデータ効率が向上し,政策訓練中にほぼゼロに近い介入を施した長軸タオルフォールディング作業において,99.4%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-03T13:45:59Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own [59.11934130045106]
  我々は、政策、価値、成功-回帰基盤モデルからのガイダンスとフィードバックを活用するために、RLFP(Reinforcement Learning with Foundation Priors)を提案する。 本フレームワークでは,自動報酬関数を用いてより効率的にエージェントを探索できるファウンデーション誘導型アクター・クリティカル(FAC)アルゴリズムを導入する。 本手法は,実ロボットとシミュレーションの両方において,様々な操作タスクにおいて顕著な性能を実現する。
  論文  参考訳（メタデータ） (2023-10-04T07:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。