論文の概要: Reinforcement Learning with Automated Auxiliary Loss Search
- arxiv url: http://arxiv.org/abs/2210.06041v1
- Date: Wed, 12 Oct 2022 09:24:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:12:34.159084
- Title: Reinforcement Learning with Automated Auxiliary Loss Search
- Title(参考訳): 自動補助損失探索による強化学習
- Authors: Tairan He, Yuge Zhang, Kan Ren, Minghuan Liu, Che Wang, Weinan Zhang,
Yuqing Yang, Dongsheng Li
- Abstract要約: 補助的損失関数を用いたより良い表現を学習するための原理的,普遍的な手法を提案する。
具体的には、7.5×1020$の一般的な補助損失空間を定義し、効率的な進化的探索戦略を用いて空間を探索する。
その結果, 高次元(イメージ)と低次元(ベクター)の両タスクにおいて, 補助的損失が有意に改善されることが判明した。
- 参考スコア(独自算出の注目度): 34.83123677004838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A good state representation is crucial to solving complicated reinforcement
learning (RL) challenges. Many recent works focus on designing auxiliary losses
for learning informative representations. Unfortunately, these handcrafted
objectives rely heavily on expert knowledge and may be sub-optimal. In this
paper, we propose a principled and universal method for learning better
representations with auxiliary loss functions, named Automated Auxiliary Loss
Search (A2LS), which automatically searches for top-performing auxiliary loss
functions for RL. Specifically, based on the collected trajectory data, we
define a general auxiliary loss space of size $7.5 \times 10^{20}$ and explore
the space with an efficient evolutionary search strategy. Empirical results
show that the discovered auxiliary loss (namely, A2-winner) significantly
improves the performance on both high-dimensional (image) and low-dimensional
(vector) unseen tasks with much higher efficiency, showing promising
generalization ability to different settings and even different benchmark
domains. We conduct a statistical analysis to reveal the relations between
patterns of auxiliary losses and RL performance.
- Abstract(参考訳): 状態表現は複雑な強化学習(RL)の課題を解決するために重要である。
近年の多くの研究は、情報表現学習のための補助的損失の設計に重点を置いている。
残念ながら、これらの手作りの目的は専門家の知識に大きく依存しており、準最適かもしれない。
本稿では,自動補助損失探索 (Automated Auxiliary Loss Search, A2LS) という,補助損失関数を用いたより優れた表現を学習するための原理的,普遍的な手法を提案する。
具体的には、収集された軌道データに基づいて、7.5 の一般補助損失空間を 10^{20}$ と定義し、効率的な進化的探索戦略で空間を探索する。
実験の結果,a2-winnerが検出した補助損失は,高次元 (画像) と低次元 (ベクトル) の両方の非知覚タスクの性能を大幅に向上させ,異なる設定と異なるベンチマーク領域において有望な一般化能力を示した。
補助損失のパターンとrl性能の関係を明らかにするため,統計解析を行った。
関連論文リスト
- Understanding Representations Pretrained with Auxiliary Losses for
Embodied Agent Planning [16.445611258136857]
具体的AIにおける4つの一般的な補助的損失,2つの後視に基づく損失,および標準的な模倣学習損失を評価した。
探索軌道上の模倣学習は,下流作業と異なる探索軌道であっても,他の補助的損失よりも優れていた。
論文 参考訳(メタデータ) (2023-12-06T04:13:59Z) - MELTR: Meta Loss Transformer for Learning to Fine-tune Video Foundation
Models [10.10825306582544]
本稿では,様々な損失関数を自動かつ非線形に組み合わせて,補助学習による目標タスクの学習を支援するプラグインモジュールであるMeta Loss TRansformerを提案する。
評価のために、我々のフレームワークを様々なビデオ基盤モデル(UniVL、Violet、All-in-one)に適用し、4つのダウンストリームタスクにおいて大きなパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2023-03-23T03:06:44Z) - Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary
Data [100.33096338195723]
補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。
FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。
提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
論文 参考訳(メタデータ) (2023-02-01T18:59:36Z) - A survey and taxonomy of loss functions in machine learning [60.41650195728953]
ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。
この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
論文 参考訳(メタデータ) (2023-01-13T14:38:24Z) - AutoBalance: Optimized Loss Functions for Imbalanced Data [38.64606886588534]
本稿では,2段階最適化フレームワークであるAutoBalanceを提案する。
具体的には、下層問題はモデル重みを訓練し、上層問題は、検証データに対して所望の目的を監視、最適化することにより損失関数を調整する。
我々の損失設計は、パラメトリックなクロスエントロピー損失と個別化されたデータ拡張スキームを用いて、クラス/グループをパーソナライズすることを可能にする。
論文 参考訳(メタデータ) (2022-01-04T15:53:23Z) - Return-Based Contrastive Representation Learning for Reinforcement
Learning [126.7440353288838]
そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。
アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
論文 参考訳(メタデータ) (2021-02-22T13:04:18Z) - Loss Function Discovery for Object Detection via Convergence-Simulation
Driven Search [101.73248560009124]
本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。
一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。
実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
論文 参考訳(メタデータ) (2021-02-09T08:34:52Z) - Loss Function Search for Face Recognition [75.79325080027908]
最適な候補を自動的に獲得する報酬誘導探索法を開発した。
種々の顔認証ベンチマークの実験結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2020-07-10T03:40:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。