論文の概要: Incremental Residual Reinforcement Learning Toward Real-World Learning for Social Navigation
- arxiv url: http://arxiv.org/abs/2604.07945v1
- Date: Thu, 09 Apr 2026 08:08:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.789446
- Title: Incremental Residual Reinforcement Learning Toward Real-World Learning for Social Navigation
- Title（参考訳）: ソーシャルナビゲーションのための実世界学習に向けた漸進的残留強化学習
- Authors: Haruto Nagahisa, Kohei Matsumoto, Yuki Tomita, Yuki Hyodo, Ryo Kurazume,
- Abstract要約: ソーシャルナビゲーションは重要な課題として現れ、深層強化学習(RL)アプローチの研究を推進している。
エージェントが物理的な環境で直接操作しながら学習する現実世界のRLは、この問題に対して有望な解決策を提供する。
本研究では,基本方針に対する残差のみをトレーニングすることで学習効率を向上させるインクリメンタル残差RL(IRRL)を提案する。
- 参考スコア（独自算出の注目度）: 2.1204495827342438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the demand for mobile robots continues to increase, social navigation has emerged as a critical task, driving active research into deep reinforcement learning (RL) approaches. However, because pedestrian dynamics and social conventions vary widely across different regions, simulations cannot easily encompass all possible real-world scenarios. Real-world RL, in which agents learn while operating directly in physical environments, presents a promising solution to this issue. Nevertheless, this approach faces significant challenges, particularly regarding constrained computational resources on edge devices and learning efficiency. In this study, we propose incremental residual RL (IRRL). This method integrates incremental learning, which is a lightweight process that operates without a replay buffer or batch updates, with residual RL, which enhances learning efficiency by training only on the residuals relative to a base policy. Through the simulation experiments, we demonstrated that, despite lacking a replay buffer, IRRL achieved performance comparable to those of conventional replay buffer-based methods and outperformed existing incremental learning approaches. Furthermore, the real-world experiments confirmed that IRRL can enable robots to effectively adapt to previously unseen environments through the real-world learning.
- Abstract（参考訳）: 移動ロボットの需要が高まるにつれ、ソーシャルナビゲーションが重要な課題となり、深層強化学習(RL)アプローチの積極的な研究が進められている。
しかし、歩行者の動態や社会慣行は地域によって大きく異なるため、シミュレーションは現実のシナリオを網羅することは容易ではない。
エージェントが物理的な環境で直接操作しながら学習する現実世界のRLは、この問題に対して有望な解決策を提供する。
それでもこのアプローチは、特にエッジデバイス上の制約付き計算リソースと学習効率に関して、大きな課題に直面している。
本研究では, 逐次残留RL (IRRL) を提案する。
本手法は,リプレイバッファやバッチ更新のない軽量な学習プロセスであるインクリメンタルラーニングと,ベースポリシーに対する残差のみをトレーニングすることで学習効率を向上させる残差RLを統合する。
シミュレーション実験により, IRRLはリプレイバッファの欠如にもかかわらず, 従来のリプレイバッファ方式と同等の性能を示し, 既存のインクリメンタル学習手法よりも優れた性能を示した。
さらに、実世界の実験では、IRRLが現実世界の学習を通じて、これまで見えない環境に効果的に適応できることを確認した。
関連論文リスト
- Reset-Free Reinforcement Learning for Real-World Agile Driving: An Empirical Study [3.038642416291856]
本稿では,実世界のアジャイル運転におけるリセットフリー強化学習(RL)の実証的研究について述べる。
モデル予測経路積分制御(MPPI)をリセットポリシーと残差学習の基本ポリシーの両方に採用する。
残差学習を持つSACはシミュレーションの最も高いリターンを達成するが、TD-MPC2のみが物理プラットフォーム上のMPPIベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-09T00:28:54Z) - Sim2Real Reinforcement Learning for Soccer skills [0.0]
この論文は、強化学習(RL)を用いたヒューマノイドロボットの制御関連タスクの訓練に、より効率的かつ効果的なアプローチを示すものである。
従来のRL法は、現実世界の環境、複雑さ、自然運動に適応するのに限られている。
シミュレーションから実世界への学習方針の移譲は成功しなかった。
論文 参考訳（メタデータ） (2025-12-13T19:29:35Z) - Improving RL Exploration for LLM Reasoning through Retrospective Replay [45.00643118030677]
本稿では,Retrospective Replay-based Reinforcement Learning (RRL) という新しいアルゴリズムを提案する。
RRLにより、モデルが早期に特定された有望な状態を再検討し、探索の効率性と有効性を向上させることができる。
論文 参考訳（メタデータ） (2025-04-19T17:40:04Z) - Grow Your Limits: Continuous Improvement with Real-World RL for Robotic
Locomotion [66.69666636971922]
本稿では,ロボットの学習過程における探索を調節するポリシー正規化フレームワークであるAPRLを提案する。
APRLは四足歩行ロボットを、数分で完全に現実世界を歩けるように効率よく学習する。
論文 参考訳（メタデータ） (2023-10-26T17:51:46Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous
Manipulation [61.7171775202833]
本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。
我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。
本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
論文 参考訳（メタデータ） (2023-09-06T19:05:31Z) - Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。
強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
論文 参考訳（メタデータ） (2022-11-23T19:17:20Z) - Don't Start From Scratch: Leveraging Prior Data to Automate Robotic
Reinforcement Learning [70.70104870417784]
強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。
現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。
本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
論文 参考訳（メタデータ） (2022-07-11T08:31:22Z) - Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep
RL in Large Networked Systems [18.281902746944525]
本稿では,深部RLで十分に高速に動作可能な複雑なシステムの軽量シミュレータを構築する方法について検討する。
我々は,グローバルなダイナミクスの影響を受けながら,エージェントがより大きな環境の一部と相互作用する領域に焦点を当てる。
本手法は,グローバルシステムの影響を模倣した学習モデルとローカルシミュレータの利用を併用する。
論文 参考訳（メタデータ） (2022-02-03T11:33:58Z) - Accelerating Robotic Reinforcement Learning via Parameterized Action
Primitives [92.0321404272942]
強化学習は汎用ロボットシステムの構築に使用することができる。
しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。
本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。
動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
論文 参考訳（メタデータ） (2021-10-28T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。