論文の概要: Does Optimal Source Task Performance Imply Optimal Pre-training for a Target Task?

• arxiv url: http://arxiv.org/abs/2106.11174v1
• Date: Mon, 21 Jun 2021 15:09:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:46:46.971130
• Title: Does Optimal Source Task Performance Imply Optimal Pre-training for a Target Task?
• Title（参考訳）: 最適ソースタスク性能は目標タスクに対する最適事前学習を示唆するか?
• Authors: Steven Gutstein, Brent Lance and Sanjay Shakkottai
• Abstract要約: 最適ソースタスク性能のためのネットの事前トレーニングは、任意の目標タスクを学習する準備が最適であると仮定する。 最適なパフォーマンスの前に、ソースタスクのトレーニングを止めることは、新しいタスクを学ぶのに適したトレーニング済みのネットを作ることができる。
• 参考スコア（独自算出の注目度）: 20.813779750867006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained deep nets are commonly used to improve accuracies and training times for neural nets. It is generally assumed that pre-training a net for optimal source task performance best prepares it to learn an arbitrary target task. This is generally not true. Stopping source task training, prior to optimal performance, can create a pre-trained net better suited for learning a new task. We performed several experiments demonstrating this effect, as well as the influence of amount of training and of learning rate. Additionally, we show that this reflects a general loss of learning ability that even extends to relearning the source task
• Abstract（参考訳）: トレーニング済みのディープネットは一般的に、ニューラルネットワークのアキュラシーとトレーニング時間を改善するために使用される。 一般に、最適なソースタスク性能のためのネットの事前トレーニングは、任意の目標タスクを学習するための最善の準備であると仮定される。 これは一般的には正しくない。 最適なパフォーマンスの前に、ソースタスクのトレーニングを止めることは、新しいタスクを学ぶのに適したトレーニング済みのネットを作ることができる。 この効果を実証する実験を複数実施し,トレーニング量と学習率の影響について検討した。 さらに、これは、ソースタスクの再学習にまで及ぶ学習能力の全般的な喪失を反映していることを示す。

関連論文リスト

• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Meta-Reinforcement Learning for Heuristic Planning [12.462608802359936]
  メタ強化学習(Meta-Reinforcement Learning、Meta-RL)では、エージェントは、新しい、見えない、しかし関連するタスクの準備と学習のために一連のタスクで訓練される。 トレーニングタスクのセットが与えられた場合、トレーニングタスクが適切に選択された場合、学習はより迅速かつ効果的であることを示します。 本稿では,情報理論に基づくタスク選択アルゴリズムITTSを提案する。
  論文  参考訳（メタデータ） (2021-07-06T13:25:52Z)
• Meta-learning for downstream aware and agnostic pretraining [7.2051162210119495]
  本稿では,メタラーニングを用いて,事前学習の各エピソードにおいて最も有意義な学習信号を提供するタスクを選択することを提案する。 本手法とその2つの変種である下流認識と下流認識事前学習のアルゴリズムについて論じる。
  論文  参考訳（メタデータ） (2021-06-06T23:08:09Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。