論文の概要: Success in Humanoid Reinforcement Learning under Partial Observation

• arxiv url: http://arxiv.org/abs/2507.18883v1
• Date: Fri, 25 Jul 2025 01:51:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.79365
• Title: Success in Humanoid Reinforcement Learning under Partial Observation
• Title（参考訳）: 部分観察によるヒューマノイド強化学習の成功
• Authors: Wuhao Wang, Zhiyong Chen,
• Abstract要約: 本研究は,ヒューマノイド移動環境における部分観測可能性下での学習の初成功例を示す。 学習されたポリシのパフォーマンスは、完全な状態アクセスを備えた最先端の結果に匹敵する。 この成功の鍵は、過去の観測の固定長シーケンスを並列に処理する新しいヒストリーエンコーダである。
• 参考スコア（独自算出の注目度）: 4.473337652382325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has been widely applied to robotic control, but effective policy learning under partial observability remains a major challenge, especially in high-dimensional tasks like humanoid locomotion. To date, no prior work has demonstrated stable training of humanoid policies with incomplete state information in the benchmark Gymnasium Humanoid-v4 environment. The objective in this environment is to walk forward as fast as possible without falling, with rewards provided for staying upright and moving forward, and penalties incurred for excessive actions and external contact forces. This research presents the first successful instance of learning under partial observability in this environment. The learned policy achieves performance comparable to state-of-the-art results with full state access, despite using only one-third to two-thirds of the original states. Moreover, the policy exhibits adaptability to robot properties, such as variations in body part masses. The key to this success is a novel history encoder that processes a fixed-length sequence of past observations in parallel. Integrated into a standard model-free algorithm, the encoder enables performance on par with fully observed baselines. We hypothesize that it reconstructs essential contextual information from recent observations, thereby enabling robust decision-making.
• Abstract（参考訳）: 強化学習はロボット制御に広く応用されてきたが、部分的可観測性の下での効果的なポリシー学習は大きな課題であり、特にヒューマノイドの移動のような高次元のタスクにおいてである。 現在までに、Gymnasium Humanoid-v4環境において、不完全な状態情報を含むヒューマノイドポリシーの安定的なトレーニングは実施されていない。 この環境の目標は、できるだけ早く前進することであり、直立して前進するための報酬、過度な行動や外部接触力に対する罰である。 本研究は、この環境における部分観測可能性の下での学習の初めての成功例を示す。 学習されたポリシーは、元の状態の3分の1から3しか使用していないにもかかわらず、完全な状態アクセスを備えた最先端の結果に匹敵するパフォーマンスを達成する。 さらに、このポリシーは、身体部分の質量の変化など、ロボットの特性への適応性を示す。 この成功の鍵は、過去の観測の固定長シーケンスを並列に処理する新しいヒストリーエンコーダである。 標準モデルフリーアルゴリズムに統合されたエンコーダは、完全に観測されたベースラインと同等のパフォーマンスを実現する。 我々は、近年の観測から重要な文脈情報を再構築し、堅牢な意思決定を可能にすると仮定する。

関連論文リスト

• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Single-Shot Learning of Stable Dynamical Systems for Long-Horizon Manipulation Tasks [48.54757719504994]
  本稿では,必要なトレーニングデータ量を削減しつつ,タスク成功率の向上に焦点をあてる。 提案手法では,長距離実証をウェイポイントとサブゴールで定義された離散ステップに分割する手法を提案する。 シミュレーションと実世界の両方の実験を通して,本手法を検証し,シミュレーションから物理ロボットプラットフォームへの効果的移行を実証した。
  論文  参考訳（メタデータ） (2024-10-01T19:49:56Z)
• Deep Learning-Based Object Pose Estimation: A Comprehensive Survey [73.74933379151419]
  ディープラーニングに基づくオブジェクトポーズ推定の最近の進歩について論じる。 また、複数の入力データモダリティ、出力ポーズの自由度、オブジェクト特性、下流タスクについても調査した。
  論文  参考訳（メタデータ） (2024-05-13T14:44:22Z)
• Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning [17.092640837991883]
  強化学習(Reinforcement Learning, RL)は、環境相互作用を通じてポリシーを学ぶための有望な枠組みである。 ひとつの方向性として、オフラインデータによるRLの拡張による望ましいタスクの実証があるが、過去の作業では、多くの高品質なデモデータが必要になることが多い。 提案手法における逆カリキュラムと前方カリキュラムの組み合わせ(RFCL)は,実演とサンプル効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-06T11:33:12Z)
• Contrastive Initial State Buffer for Reinforcement Learning [25.849626996870526]
  強化学習(Reinforcement Learning)では、探究と搾取のトレードオフは、限られたサンプルから効率的な学習を実現するための複雑な課題となる。 本稿では,過去の経験から状態を戦略的に選択し,エージェントを環境に初期化するContrastive Initial State Bufferの概念を紹介する。 環境に関する事前情報に頼ることなく、2つの複雑なロボットタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-09-18T13:26:40Z)
• Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning [11.084321518414226]
  我々は,既存の重要度・重要度比推定手法をオフ政治評価に適用し,いわゆる後見政策手法の安定性と効率を大幅に向上させる。 我々の後視分布補正は、信用代入がベースライン手法を悩ませている広範囲の環境において、安定的で効率的な学習を容易にする。
  論文  参考訳（メタデータ） (2023-07-21T20:54:52Z)
• Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios [147.16925581385576]
  シミュレーション学習と強化学習を組み合わせることで,運転方針の安全性と信頼性が大幅に向上することを示す。 都会の運転データ100万マイル以上でポリシーを訓練し、異なるレベルの衝突確率でグループ化されたテストシナリオにおける有効性を測定する。
  論文  参考訳（メタデータ） (2022-12-21T23:59:33Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)
• Universal Value Density Estimation for Imitation Learning and Goal-Conditioned Reinforcement Learning [5.406386303264086]
  いずれの場合も、効果的な解法は、エージェントが指定された状態に確実に到達する必要がある。 この研究は、密度推定の最近の進歩を利用して、与えられた状態に到達することを効果的に学習するアプローチを導入する。 最初のコントリビューションとして、この手法を目標条件付き強化学習に使用し、それが効率的であり、ドメインの後方偏見に支障を来さないことを示す。 第2のコントリビューションとして、模倣学習へのアプローチを拡張し、標準的なベンチマークタスクにおける最先端のサンプル効率を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。