論文の概要: Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors

• arxiv url: http://arxiv.org/abs/2205.10279v1
• Date: Fri, 20 May 2022 16:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 14:34:50.805212
• Title: Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors
• Title（参考訳）: 損失の事前トレーニング - 情報優先によるベイズ転校学習の容易化
• Authors: Ravid Shwartz-Ziv, Micah Goldblum, Hossein Souri, Sanyam Kapoor, Chen Zhu, Yann LeCun, Andrew Gordon Wilson
• Abstract要約: 我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
• 参考スコア（独自算出の注目度）: 59.93972277761501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning is increasingly moving towards a transfer learning paradigm whereby large foundation models are fine-tuned on downstream tasks, starting from an initialization learned on the source task. But an initialization contains relatively little information about the source task. Instead, we show that we can learn highly informative posteriors from the source task, through supervised or self-supervised approaches, which then serve as the basis for priors that modify the whole loss surface on the downstream task. This simple modular approach enables significant performance gains and more data-efficient learning on a variety of downstream classification and segmentation tasks, serving as a drop-in replacement for standard pre-training strategies. These highly informative priors also can be saved for future use, similar to pre-trained weights, and stand in contrast to the zero-mean isotropic uninformative priors that are typically used in Bayesian deep learning.
• Abstract（参考訳）: ディープラーニングは、ソースタスクで学習した初期化から始まり、ダウンストリームタスクで大規模な基礎モデルが微調整される、転送学習パラダイムへとますます移行しています。 しかし、初期化にはソースタスクに関する情報が比較的少ない。 その代わりに、ソースタスクから、教師付きまたは自己監督型のアプローチを通じて、高度に情報的な後部を学習できることを示し、下流タスクの損失面全体を修正した先行の基盤として機能する。 このシンプルなモジュラーアプローチは、ダウンストリームの分類とセグメンテーションタスクで、大幅なパフォーマンス向上とデータ効率のよい学習を可能にし、標準的な事前トレーニング戦略の代替として役立ちます。 これらの非常に有意義な先行は、事前訓練された重みと同様、将来の使用のために保存することもでき、ベイズ深層学習で一般的に使用されるゼロ平均等方的非形式的先行と対照的である。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported [4.453137996095194]
  転送学習と5つのデータセットにまたがるソースタスクの事前情報とを比較検討する。 クラス毎の5-300例のシナリオでは、2つのデータセットに対して負あるいは無視的なゲイン、他の2つのデータセットでは控えめなゲイン、ひとつのデータセットでは実質的なゲインが見られます。
  論文  参考訳（メタデータ） (2024-05-24T14:12:23Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• PAC-Net: A Model Pruning Approach to Inductive Transfer Learning [16.153557870191488]
  PAC-Netは、プルーニングに基づく伝達学習において、シンプルだが効果的なアプローチである。 PAC-NetはPrune、Allocate、Calibrateの3つのステップで構成されている。 様々な多種多様な帰納的伝達学習実験において,本手法は最先端の性能を高いマージンで達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T09:45:16Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。