論文の概要: Meta-Learning to Improve Pre-Training

• arxiv url: http://arxiv.org/abs/2111.01754v1
• Date: Tue, 2 Nov 2021 17:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 15:12:33.122676
• Title: Meta-Learning to Improve Pre-Training
• Title（参考訳）: 事前学習を改善するメタラーニング
• Authors: Aniruddh Raghu, Jonathan Lorraine, Simon Kornblith, Matthew McDermott, David Duvenaud
• Abstract要約: プレトレーニング(PT)とファインチューニング(FT)は、ニューラルネットワークのトレーニングに有効な方法である。 PTは、タスクとデータ再重み付け戦略、拡張ポリシー、ノイズモデルなど、さまざまな設計選択を組み込むことができる。 メタ学習型PTハイパーパラメータに対する効率よく勾配に基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 38.75981465367226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training (PT) followed by fine-tuning (FT) is an effective method for training neural networks, and has led to significant performance improvements in many domains. PT can incorporate various design choices such as task and data reweighting strategies, augmentation policies, and noise models, all of which can significantly impact the quality of representations learned. The hyperparameters introduced by these strategies therefore must be tuned appropriately. However, setting the values of these hyperparameters is challenging. Most existing methods either struggle to scale to high dimensions, are too slow and memory-intensive, or cannot be directly applied to the two-stage PT and FT learning process. In this work, we propose an efficient, gradient-based algorithm to meta-learn PT hyperparameters. We formalize the PT hyperparameter optimization problem and propose a novel method to obtain PT hyperparameter gradients by combining implicit differentiation and backpropagation through unrolled optimization. We demonstrate that our method improves predictive performance on two real-world domains. First, we optimize high-dimensional task weighting hyperparameters for multitask pre-training on protein-protein interaction graphs and improve AUROC by up to 3.9%. Second, we optimize a data augmentation neural network for self-supervised PT with SimCLR on electrocardiography data and improve AUROC by up to 1.9%.
• Abstract（参考訳）: pre-training (pt) と fine-tuning (ft) はニューラルネットワークのトレーニングに有効な方法であり、多くの領域で大幅なパフォーマンス向上をもたらした。 PTは、タスクとデータ再重み付け戦略、拡張ポリシー、ノイズモデルなどの様々な設計選択を組み込むことができ、これらすべてが学習した表現の質に大きな影響を与える。 したがって、これらの戦略によって導入されたハイパーパラメータは適切に調整されなければならない。 しかし、これらのハイパーパラメータの値の設定は困難である。 既存のほとんどの手法は、高次元にスケールするのに苦労するが、遅すぎ、メモリ集約的であるか、2段階のPTおよびFT学習プロセスに直接適用できない。 本研究では,メタ学習型PTハイパーパラメータに対する効率よく勾配に基づくアルゴリズムを提案する。 本稿では,PTハイパーパラメータ最適化問題を定式化し,非スクロール最適化による暗黙の微分とバックプロパゲーションを組み合わせたPTハイパーパラメータ勾配を求める手法を提案する。 本手法は2つの実世界領域における予測性能を向上させることを実証する。 まず,タンパク質間相互作用グラフのマルチタスク事前学習のためのハイパーパラメータの高次元タスク重み付けを最適化し,AUROCを最大3.9%改善する。 次に、心電図データ上でSimCLRを用いた自己教師型PTのためのデータ拡張ニューラルネットワークを最適化し、AUROCを最大1.9%改善する。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
  本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。 12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-27T13:52:40Z)
• CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization [24.39326333982495]
  CPMLHOは切削平面法と混合レベル目的関数を用いた新しいハイパーパラメータ最適化法である。 既存の手法と比較して,本手法はトレーニングプロセスのハイパーパラメータを自動的に更新することができる。
  論文  参考訳（メタデータ） (2022-12-11T07:46:19Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation [0.0]
  近似的過勾配型ハイパーパラメータオプティマイザを開発した。 トレーニングは1回のみであり、再スタートは行わない。 また、真の過次性への収束を動機づける議論も提供する。
  論文  参考訳（メタデータ） (2021-10-20T09:57:57Z)
• Efficient Hyperparameter Optimization for Physics-based Character Animation [1.2183405753834562]
  本稿では,DRLに基づく文字制御システムの高パラメータ最適化のための,新しいカリキュラムベースのマルチフィデリティベイズ最適化フレームワーク(CMFBO)を提案する。 提案アルゴリズムは,DeepMimicの著者がリリースした設定と比較して,少なくとも5倍の効率向上が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-26T06:46:36Z)
• On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning [27.36718899899319]
  モデルベース強化学習(MBRL)はデータ効率のよい制御を学習するための有望なフレームワークである。 MBRLは通常、新しい問題やドメインに適用する前に、重要な人間の専門知識が必要です。
  論文  参考訳（メタデータ） (2021-02-26T18:57:47Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。