論文の概要: AANG: Automating Auxiliary Learning

• arxiv url: http://arxiv.org/abs/2205.14082v1
• Date: Fri, 27 May 2022 16:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 12:50:04.835813
• Title: AANG: Automating Auxiliary Learning
• Title（参考訳）: aang: 補助学習の自動化
• Authors: Lucio M. Dery, Paul Michel, Mikhail Khodak, Graham Neubig and Ameet Talwalkar
• Abstract要約: 補助目的の集合を自動生成する手法を提案する。 我々は、新しい統合分類体系の中で既存の目的を分解し、それらの関係を識別し、発見された構造に基づいて新しい目的を創出することで、これを実現する。 これにより、生成された目的物の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。
• 参考スコア（独自算出の注目度）: 110.36191309793135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When faced with data-starved or highly complex end-tasks, it is commonplace for machine learning practitioners to introduce auxiliary objectives as supplementary learning signals. Whilst much work has been done to formulate useful auxiliary objectives, their construction is still an art which proceeds by slow and tedious hand-design. Intuitions about how and when these objectives improve end-task performance have also had limited theoretical backing. In this work, we present an approach for automatically generating a suite of auxiliary objectives. We achieve this by deconstructing existing objectives within a novel unified taxonomy, identifying connections between them, and generating new ones based on the uncovered structure. Next, we theoretically formalize widely-held intuitions about how auxiliary learning improves generalization of the end-task. This leads us to a principled and efficient algorithm for searching the space of generated objectives to find those most useful to a specified end-task. With natural language processing (NLP) as our domain of study, we empirically verify that our automated auxiliary learning pipeline leads to strong improvements over competitive baselines across continued training experiments on a pre-trained model on 5 NLP end-tasks.
• Abstract（参考訳）: データ不足や高度に複雑なエンドタスクに直面した場合には、機械学習実践者が補足的な学習信号として補助目的を導入するのが一般的である。 有用な補助目的を定式化するために多くの作業が行われたが、その構築は遅くて退屈な手作業で進む芸術である。 これらの目的がエンドタスクのパフォーマンスを改善する方法と時期に関する直観は、理論的な裏付けも限られている。 本稿では,補助目的のスイートを自動的に生成する手法を提案する。 我々は,新しい統一分類法において既存の目的を分解し,それらの関係を同定し,その構造に基づいて新たな目標を生成することにより,これを達成する。 次に、補助学習がエンドタスクの一般化をいかに改善するかについての広く支持された直観を理論的に定式化する。 これにより、生成された目的の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。 自然言語処理(NLP)を研究領域として、我々の自動補助学習パイプラインが、5つのNLPエンドタスク上で事前訓練されたモデル上での継続的なトレーニング実験において、競争ベースラインよりも強力な改善をもたらすことを実証的に検証した。

関連論文リスト

• Discovering Temporally-Aware Reinforcement Learning Algorithms [42.016150906831776]
  既存の2つの目的発見アプローチに簡単な拡張を提案する。 一般的に使用されるメタ段階的アプローチは適応的目的関数の発見に失敗する。
  論文  参考訳（メタデータ） (2024-02-08T17:07:42Z)
• Proto-Value Networks: Scaling Representation Learning with Auxiliary Tasks [33.98624423578388]
  補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。 我々は、後継措置に基づく新しい補助業務のファミリーを導出する。 プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
  論文  参考訳（メタデータ） (2023-04-25T04:25:08Z)
• Exploiting Contextual Structure to Generate Useful Auxiliary Tasks [12.236546713167945]
  強化学習はロボットにとって高価な環境との相互作用を必要とする。 本稿では,有用な補助タスクを生成し,同時に学習することで,与えられたタスクを学習しながら経験再利用を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-09T05:11:30Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Auxiliary task discovery through generate-and-test [7.800263769988046]
  補助的なタスクは、エージェントに補助的な予測と制御目的を学習させることで、データ効率を向上させる。 本稿では,表現学習のアイデアに基づく強化学習における補助的タスク発見へのアプローチについて検討する。 本研究は,これらの特徴が主課題にどの程度有用かに基づいて,補助課題の有用性を示す新しい尺度を提案する。
  論文  参考訳（メタデータ） (2022-10-25T22:04:37Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative [88.11465517304515]
  一般に、事前学習のステップは、モデルを微調整するタスクについて、ほとんど、あるいは全く直接の知識に依存しない。 エンドタスクと補助目的をマルチタスクすることで、ダウンストリームタスクのパフォーマンスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-15T17:13:18Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。