論文の概要: Reinforcement Learning with Automated Auxiliary Loss Search

• arxiv url: http://arxiv.org/abs/2210.06041v1
• Date: Wed, 12 Oct 2022 09:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:12:34.159084
• Title: Reinforcement Learning with Automated Auxiliary Loss Search
• Title（参考訳）: 自動補助損失探索による強化学習
• Authors: Tairan He, Yuge Zhang, Kan Ren, Minghuan Liu, Che Wang, Weinan Zhang, Yuqing Yang, Dongsheng Li
• Abstract要約: 補助的損失関数を用いたより良い表現を学習するための原理的,普遍的な手法を提案する。 具体的には、7.5×1020$の一般的な補助損失空間を定義し、効率的な進化的探索戦略を用いて空間を探索する。 その結果, 高次元(イメージ)と低次元(ベクター)の両タスクにおいて, 補助的損失が有意に改善されることが判明した。
• 参考スコア（独自算出の注目度）: 34.83123677004838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A good state representation is crucial to solving complicated reinforcement learning (RL) challenges. Many recent works focus on designing auxiliary losses for learning informative representations. Unfortunately, these handcrafted objectives rely heavily on expert knowledge and may be sub-optimal. In this paper, we propose a principled and universal method for learning better representations with auxiliary loss functions, named Automated Auxiliary Loss Search (A2LS), which automatically searches for top-performing auxiliary loss functions for RL. Specifically, based on the collected trajectory data, we define a general auxiliary loss space of size $7.5 \times 10^{20}$ and explore the space with an efficient evolutionary search strategy. Empirical results show that the discovered auxiliary loss (namely, A2-winner) significantly improves the performance on both high-dimensional (image) and low-dimensional (vector) unseen tasks with much higher efficiency, showing promising generalization ability to different settings and even different benchmark domains. We conduct a statistical analysis to reveal the relations between patterns of auxiliary losses and RL performance.
• Abstract（参考訳）: 状態表現は複雑な強化学習(RL)の課題を解決するために重要である。 近年の多くの研究は、情報表現学習のための補助的損失の設計に重点を置いている。 残念ながら、これらの手作りの目的は専門家の知識に大きく依存しており、準最適かもしれない。 本稿では,自動補助損失探索 (Automated Auxiliary Loss Search, A2LS) という,補助損失関数を用いたより優れた表現を学習するための原理的,普遍的な手法を提案する。 具体的には、収集された軌道データに基づいて、7.5 の一般補助損失空間を 10^{20}$ と定義し、効率的な進化的探索戦略で空間を探索する。 実験の結果,a2-winnerが検出した補助損失は,高次元 (画像) と低次元 (ベクトル) の両方の非知覚タスクの性能を大幅に向上させ,異なる設定と異なるベンチマーク領域において有望な一般化能力を示した。 補助損失のパターンとrl性能の関係を明らかにするため,統計解析を行った。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Reinforcement Learning with Intrinsically Motivated Feedback Graph for Lost-sales Inventory Control [12.832009040635462]
  強化学習(Reinforcement Learning, RL)は, インベントリコントロール(IC)領域において, 優れた性能と汎用性があることが証明されている。 オンライン体験は、現実世界のアプリケーションで入手するのに費用がかかる。 オンライン体験は、ICの典型的な失業現象による真の需要を反映していない可能性がある。
  論文  参考訳（メタデータ） (2024-06-26T13:52:47Z)
• MELTR: Meta Loss Transformer for Learning to Fine-tune Video Foundation Models [10.10825306582544]
  本稿では,様々な損失関数を自動かつ非線形に組み合わせて,補助学習による目標タスクの学習を支援するプラグインモジュールであるMeta Loss TRansformerを提案する。 評価のために、我々のフレームワークを様々なビデオ基盤モデル(UniVL、Violet、All-in-one)に適用し、4つのダウンストリームタスクにおいて大きなパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2023-03-23T03:06:44Z)
• Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data [100.33096338195723]
  補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。 FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。 提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
  論文  参考訳（メタデータ） (2023-02-01T18:59:36Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Loss Function Search for Face Recognition [75.79325080027908]
  最適な候補を自動的に獲得する報酬誘導探索法を開発した。 種々の顔認証ベンチマークの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-07-10T03:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。