論文の概要: Learning the Target Network in Function Space

• arxiv url: http://arxiv.org/abs/2406.01838v1
• Date: Mon, 3 Jun 2024 23:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:32:51.369061
• Title: Learning the Target Network in Function Space
• Title（参考訳）: 関数空間におけるターゲットネットワークの学習
• Authors: Kavosh Asadi, Yao Liu, Shoham Sabach, Ming Yin, Rasool Fakoor,
• Abstract要約: Lookahead-Replicate (LR) は新しい値関数近似アルゴリズムである。 LRは値関数の学習において収束挙動をもたらすことを示す。 また、LRベースのターゲットネットワーク更新により、Atariベンチマークの深いRLが大幅に改善されることを示す実験結果を示す。
• 参考スコア（独自算出の注目度）: 23.111353943898536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on the task of learning the value function in the reinforcement learning (RL) setting. This task is often solved by updating a pair of online and target networks while ensuring that the parameters of these two networks are equivalent. We propose Lookahead-Replicate (LR), a new value-function approximation algorithm that is agnostic to this parameter-space equivalence. Instead, the LR algorithm is designed to maintain an equivalence between the two networks in the function space. This value-based equivalence is obtained by employing a new target-network update. We show that LR leads to a convergent behavior in learning the value function. We also present empirical results demonstrating that LR-based target-network updates significantly improve deep RL on the Atari benchmark.
• Abstract（参考訳）: 本稿では,強化学習(RL)における価値関数の学習に焦点をあてる。 この課題は、オンラインネットワークとターゲットネットワークのペアを更新し、これらの2つのネットワークのパラメータが等価であることを保証することで解決されることが多い。 このパラメータ空間同値性に依存しない新しい値関数近似アルゴリズムであるLookahead-Replicate (LR)を提案する。 代わりに、LRアルゴリズムは関数空間における2つのネットワーク間の等価性を維持するように設計されている。 この値ベースの等価性は、新しいターゲットネットワーク更新を用いて得られる。 LRは値関数の学習において収束挙動をもたらすことを示す。 また、LRベースのターゲットネットワーク更新により、Atariベンチマークの深いRLが大幅に改善されることを示す実験結果を示す。

関連論文リスト

• Stop Regressing: Training Value Functions via Classification for Scalable Deep RL [109.44370201929246]
  分類的クロスエントロピーを用いた値関数のトレーニングにより,様々な領域における性能とスケーラビリティが向上することを示す。 例えば、SoftMoEによるAtari 2600ゲームでのシングルタスクRL、大規模ResNetによるAtariでのマルチタスクRL、Q-トランスフォーマーによるロボット操作、検索なしでチェスをプレイする、高容量トランスフォーマーによる言語エージェントWordleタスクなどがある。
  論文  参考訳（メタデータ） (2024-03-06T18:55:47Z)
• Real-Time Recurrent Reinforcement Learning [7.737685867200335]
  RTRRLは,(1)メタRL RNNアーキテクチャを独自に実装したアクター・クリティカルなアルゴリズム,(2)メタRLネットワークをトレーニングするために時間差分学習とダッチ適性トレースを利用する外部強化学習アルゴリズム,(3)ネットワークのパラメータに関する勾配を計算するオンライン自動微分アルゴリズムであるRFLO学習の3つの部分から構成される。
  論文  参考訳（メタデータ） (2023-11-08T16:56:16Z)
• Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
  モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。 我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。 本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
  論文  参考訳（メタデータ） (2023-02-07T15:09:23Z)
• Hypernetworks for Zero-shot Transfer in Reinforcement Learning [21.994654567458017]
  Hypernetworksは、目に見えないさまざまなタスク条件で振る舞いを生成するように訓練されている。 この研究はメタRL、文脈RL、伝達学習に関連している。 提案手法は,マルチタスクおよびメタRLアプローチによるベースラインの大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T15:48:35Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。 提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
  論文  参考訳（メタデータ） (2022-10-21T22:27:07Z)
• Rethinking Value Function Learning for Generalization in Reinforcement Learning [11.516147824168732]
  我々は、観測一般化性能を向上させるために、複数の訓練環境においてRLエージェントを訓練することの課題に焦点をあてる。 マルチ環境設定における価値ネットワークは、従来の単一環境設定よりもトレーニングデータの過度な適合を最適化し難い。 本稿では,政策ネットワークよりもトレーニングデータが多い値ネットワークを少ない頻度で最適化することにより,暗黙的に評価値のペナルティ化を行うDelayed-Critic Policy Gradient (DCPG)を提案する。
  論文  参考訳（メタデータ） (2022-10-18T16:17:47Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• Recomposing the Reinforcement Learning Building Blocks with Hypernetworks [19.523737925041278]
  一次ネットワークが条件付き動的ネットワークの重みを決定することを示す。 このアプローチは勾配近似を改善し、学習ステップの分散を低減する。 我々は、RL(TD3とSAC)とMeta-RL(MAMLとPEARL)の両方において、異なる移動タスクと異なるアルゴリズムで一貫した改善を示す。
  論文  参考訳（メタデータ） (2021-06-12T19:43:12Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。 本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。 この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2021-06-04T17:21:07Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。