論文の概要: Auxiliary Reward Generation with Transition Distance Representation Learning

• arxiv url: http://arxiv.org/abs/2402.07412v1
• Date: Mon, 12 Feb 2024 05:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 15:30:11.161337
• Title: Auxiliary Reward Generation with Transition Distance Representation Learning
• Title（参考訳）: 遷移距離表現学習による助成報酬生成
• Authors: Siyuan Li and Shijie Han and Yingnan Zhao and By Liang and Peng Liu
• Abstract要約: 強化学習(RL)は、逐次意思決定問題に挑戦する上で、その強みを示している。 RLの報酬関数は、タスク完了度合いの尺度として機能するため、学習性能に不可欠である。 状態間の遷移距離を計測できる新しい表現学習手法を提案する。
• 参考スコア（独自算出の注目度）: 20.150691753213817
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Reinforcement learning (RL) has shown its strength in challenging sequential decision-making problems. The reward function in RL is crucial to the learning performance, as it serves as a measure of the task completion degree. In real-world problems, the rewards are predominantly human-designed, which requires laborious tuning, and is easily affected by human cognitive biases. To achieve automatic auxiliary reward generation, we propose a novel representation learning approach that can measure the ``transition distance'' between states. Building upon these representations, we introduce an auxiliary reward generation technique for both single-task and skill-chaining scenarios without the need for human knowledge. The proposed approach is evaluated in a wide range of manipulation tasks. The experiment results demonstrate the effectiveness of measuring the transition distance between states and the induced improvement by auxiliary rewards, which not only promotes better learning efficiency but also increases convergent stability.
• Abstract（参考訳）: 強化学習(rl)は、逐次的な意思決定問題に挑戦する強みを示している。 RLの報酬関数は、タスク完了度合いの尺度として機能するため、学習性能に不可欠である。 現実世界の問題では、報酬は主に人間設計であり、厳格なチューニングを必要とし、人間の認知バイアスの影響を受けやすい。 補助報酬の自動生成を実現するために, 状態間の'遷移距離'を計測できる新しい表現学習手法を提案する。 これらの表現に基づいて,人間知識を必要とせず,単タスクシナリオとスキルチェーンシナリオの両方に対して補助報酬生成手法を導入する。 提案手法は幅広い操作タスクにおいて評価される。 実験結果は, 学習効率の向上だけでなく, 収束安定性の向上にも寄与する補助報酬による状態間の遷移距離測定と誘導改善の有効性を示した。

関連論文リスト

• Learning to Assist Humans without Inferring Rewards [65.28156318196397]
  我々は、エンパワーメントのレンズを通して支援を研究する先行研究に基づいて構築する。 補助剤は、人間の行動の影響を最大化することを目的としている。 これらの表現は、先行研究と類似したエンパワーメントの概念を推定する。
  論文  参考訳（メタデータ） (2024-11-04T21:31:04Z)
• Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills [25.326624139426514]
  本稿では,VUVC(Value Uncertainty Vari Curriculum Curriculum)と呼ばれる情報理論に基づく教師なしスキル発見手法を提案する。 規則性条件下では、VUVCは、均一なカリキュラムに比べて訪問状態のエントロピーの増加を加速させる。 また,本手法によって発見された技術は,ゼロショット設定で現実のロボットナビゲーションタスクを達成できることを実証した。
  論文  参考訳（メタデータ） (2023-10-30T10:34:25Z)
• Primitive Skill-based Robot Learning from Human Evaluative Feedback [28.046559859978597]
  強化学習アルゴリズムは、現実世界環境における長期ロボット操作タスクを扱う際に、課題に直面している。 本稿では,人間フィードバックからの強化学習(RLHF)と原始的スキルベース強化学習の2つのアプローチを活用する新しいフレームワークSEEDを提案する。 以上の結果から,SEEDはサンプル効率と安全性において最先端のRLアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-28T20:48:30Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Temporal Abstractions-Augmented Temporally Contrastive Learning: An Alternative to the Laplacian in RL [140.12803111221206]
  強化学習において、ラプラシアングラフはタスク非依存の設定において貴重なツールであることが証明されている。 そこで本研究では,非一様優先度設定において,ラプラシアン表現の表現性および所望の性質を回復可能な代替手法を提案する。 非一様条件のラプラシアンの代替として成功し、連続的な制御環境に挑戦する。
  論文  参考訳（メタデータ） (2022-03-21T22:07:48Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning [7.51557557629519]
  本稿では,主課題,複数の補助課題に加えて,専門家による実演を活用するためのフレームワークであるLearning from Guided Play (LfGP)を紹介する。 主なタスクに対する学習効率は、ボトルネック遷移に挑戦して改善され、専門家データがタスク間で再利用可能になり、学習した補助タスクモデルの再利用を通じて学習を移行することが可能になります。
  論文  参考訳（メタデータ） (2021-12-16T14:58:08Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Intrinsically Motivated Self-supervised Learning in Reinforcement Learning [15.809835721792687]
  視覚に基づく強化学習(RL)タスクでは、補助タスクに自己監督的損失を割り当てることが一般的である。 強化学習(IM-SSR)における本質的動機づけ型自己監督学習(Intivically Motivated Self-Supervised Learning)という,自己監督的損失を本質的な報酬として活用する,シンプルかつ効果的なアイデアを提案する。 自己監督的損失は、新しい状態の探索やニュアンス除去による改善として堅牢性を示す。
  論文  参考訳（メタデータ） (2021-06-26T08:43:28Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。