論文の概要: Goal-Conditioned Agents that Learn Everything All at Once

• arxiv url: http://arxiv.org/abs/2605.23551v1
• Date: Fri, 22 May 2026 12:17:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.338586
• Title: Goal-Conditioned Agents that Learn Everything All at Once
• Title（参考訳）: すべてを一度に学習するゴールコンディションエージェント
• Abstract要約: すべてのゴール学習(All-Goals learning)は、各ゴールに関して、各トランジションが政治以外の学習に使用されるもので、エージェントが最大限の情報を抽出することを可能にする。 これは、すべてのゴールに対する値とアクションを同時に出力することで、効率的で並列な全ゴール更新を可能にすることで克服できる。 ゴール条件のCraftaxでは,このアプローチが他の手法よりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 14.217160378270266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A goal-conditioned reinforcement learning agent exploring an environment will see a wealth of information throughout a trajectory, most of which is discarded when only performing on-policy updates with respect to the commanded goal. All-goals learning, where each transition is used for learning off-policy with respect to every goal, allows agents to extract maximal information, however it is usually computationally infeasible when done via naive relabelling. This can be overcome by jointly outputting values and actions for every goal at once, allowing for efficient, parallel all-goals updates with a single pass through the network, in a process we call Learning Everything all at Once (LEO). We show that this approach significantly outperforms other methods on goal-conditioned Craftax and is competitive with existing baselines on continuous control environments, while achieving a >250x speed-up compared to all-goals relabelling. We then go on to show that this approach can be made even more powerful by using LEO as a teacher network, rather than a direct actor. We hope that, by unlocking all-goals learning at scale, LEO can serve as a useful tool for RL practitioners in complex environments. We open source our code.
• Abstract（参考訳）: 環境を探索する目標条件強化学習エージェントは、経路全体を通して豊富な情報を見ることができ、そのほとんどが、指示された目標に関して、オン・ポリシーの更新のみを行うときに破棄される。 すべてのゴール学習(英語版)では、各トランジッションが、すべてのゴールに関して、政治以外の学習に使用されるが、エージェントは最大情報を抽出することができるが、通常、単純レラベリング(英語版)によって行われる場合、計算上は不可能である。 これは、一度にすべてのゴールに対して値とアクションを共同で出力することで克服できます。 本手法はゴール条件付きCraftaxの他の手法よりも大幅に優れており,既存の連続制御環境のベースラインと競合する一方で,全ゴールリラベリングに比べて250倍のスピードアップを実現していることを示す。 次に、直接アクターではなく、教師ネットワークとしてLEOを使用することにより、このアプローチをより強力にすることができることを示す。 大規模な全目標学習をアンロックすることで、LEOが複雑な環境でのRL実践者にとって有用なツールになることを期待しています。 コードをオープンソースにしています。

関連論文リスト

• ViVa: Video-Trained Value Functions for Guiding Online RL from Diverse Data [56.217490064597506]
  広範に利用可能なビデオデータから学習することで、RLを自動的に誘導するデータ駆動手法を提案し、分析する。 インテント条件付き値関数を使用して、多様なビデオから学び、これらのゴール条件付き値を報酬に組み込む。 実験により、ビデオ学習値関数は、様々なデータソースとうまく機能し、人間のビデオ事前学習からのポジティブな転送を示し、目に見えない目標に一般化し、データセットサイズでスケールできることが示されている。
  論文  参考訳（メタデータ） (2025-03-23T21:24:33Z)
• An Invitation to Deep Reinforcement Learning [24.807012576054504]
  ターゲット目標を最大化するためにディープニューラルネットワークをトレーニングすることが、マシンラーニングの成功の標準的なレシピになっています。 共通目的として、連合(IoU)、二言語評価(BLEU)スコア、報酬は教師付き学習では最適化できない。 強化学習(Reinforcement Learning, RL)は、未分化の目的を最大化するために、ディープニューラルネットワークを最適化するための有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2023-12-13T18:57:23Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Robust Meta-Representation Learning via Global Label Inference and Classification [42.81340522184904]
  メタラベル学習(Meta Label Learning, MeLa)は,タスク間でグローバルラベルを推論することでタスク関係を学習するメタラーニングアルゴリズムである。 MeLaは、既存のメソッドをさまざまなベンチマークで上回り、特に、トレーニングタスクの数が制限され、ラベルがタスク固有であるような、より困難な設定でパフォーマンスします。
  論文  参考訳（メタデータ） (2022-12-22T13:46:47Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• Learning user-defined sub-goals using memory editing in reinforcement learning [0.0]
  強化学習(RL)の目的は、エージェントが最終目標を達成することを可能にすることである。 本稿では,ユーザ定義のサブゴールを実現するための方法論と,メモリ編集による最終目標を提案する。 この方法論は、さまざまなシナリオでエージェントを制御する必要があるフィールドで使用できると期待しています。
  論文  参考訳（メタデータ） (2022-05-01T05:19:51Z)
• Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning [71.52722621691365]
  リッチな観測から汎用的な目標条件エージェントを構築することは、実世界の問題を解決するための強化学習(RL)の鍵となる。 目的条件ビシミュレーションと呼ばれる新しい状態抽象化法を提案する。 この抽象概念の計量形式を用いてこの表現を学習し、シミュレーション操作タスクにおける新しい目標に一般化する能力を示す。
  論文  参考訳（メタデータ） (2022-04-27T17:00:11Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning [0.0]
  本稿では,事前訓練されたタスク非依存言語モデルによって,目標条件付きRLエージェントをより効率的にする方法について述べる。 私たちは、異なる関連するタスク間の伝達学習を容易にすることで、これを実現します。
  論文  参考訳（メタデータ） (2020-07-10T06:42:00Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。