論文の概要: Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported

• arxiv url: http://arxiv.org/abs/2405.15583v1
• Date: Fri, 24 May 2024 14:12:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:50:09.478355
• Title: Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported
• Title（参考訳）: Informative Priorsを用いたトランスファーラーニング:以前報告したよりもシンプルなベースライン
• Authors: Ethan Harvey, Mikhail Petrov, Michael C. Hughes,
• Abstract要約: 転送学習と5つのデータセットにまたがるソースタスクの事前情報とを比較検討する。 クラス毎の5-300例のシナリオでは、2つのデータセットに対して負あるいは無視的なゲイン、他の2つのデータセットでは控えめなゲイン、ひとつのデータセットでは実質的なゲインが見られます。
• 参考スコア（独自算出の注目度）: 4.453137996095194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We pursue transfer learning to improve classifier accuracy on a target task with few labeled examples available for training. Recent work suggests that using a source task to learn a prior distribution over neural net weights, not just an initialization, can boost target task performance. In this study, we carefully compare transfer learning with and without source task informed priors across 5 datasets. We find that standard transfer learning informed by an initialization only performs far better than reported in previous comparisons. The relative gains of methods using informative priors over standard transfer learning vary in magnitude across datasets. For the scenario of 5-300 examples per class, we find negative or negligible gains on 2 datasets, modest gains (between 1.5-3 points of accuracy) on 2 other datasets, and substantial gains (>8 points) on one dataset. Among methods using informative priors, we find that an isotropic covariance appears competitive with learned low-rank covariance matrix while being substantially simpler to understand and tune. Further analysis suggests that the mechanistic justification for informed priors -- hypothesized improved alignment between train and test loss landscapes -- is not consistently supported due to high variability in empirical landscapes. We release code to allow independent reproduction of all experiments.
• Abstract（参考訳）: 我々は,目標タスクにおける分類器の精度を向上させるために,移動学習を追求する。 最近の研究は、ソースタスクを使用して、単に初期化ではなく、ニューラルネット重みに関する事前分布を学習することで、ターゲットタスクのパフォーマンスが向上することを示唆している。 本研究では,5つのデータセットにまたがる伝達学習と,ソースタスクの事前情報とを慎重に比較する。 その結果,初期化によって得られる標準伝達学習は,従来の比較結果よりもはるかに優れていることがわかった。 標準的な伝達学習よりも情報的先行性を用いた手法の相対的な利得はデータセットによって大きく異なる。 クラス毎の5-300例のシナリオでは、2つのデータセットに対して負または無視的なゲイン、他の2つのデータセットでは控えめなゲイン(1.5-3ポイントの精度)、1つのデータセットでは実質的なゲイン(>8ポイント)が見られます。 情報的先行法では、学習された低ランク共分散行列と等方的共分散が競合するが、理解とチューニングは極めて簡単である。 さらなる分析では、経験的景観の多様性が高いため、情報伝達前の機械的正当化 -- 列車とテスト損失のランドスケープの整合性の向上を仮定した - が一貫してサポートされていないことが示唆されている。 すべての実験を独立して再現するためのコードをリリースします。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Diffusion-based Neural Network Weights Generation [85.6725307453325]
  データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。 具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
  ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。 ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
  論文  参考訳（メタデータ） (2023-06-16T21:53:16Z)
• A Data-Based Perspective on Transfer Learning [76.30206800557411]
  転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。 我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
  論文  参考訳（メタデータ） (2022-07-12T17:58:28Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
  我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。 本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-01-28T00:19:13Z)
• Meta-learning Transferable Representations with a Single Target Domain [46.83481356352768]
  微調整とジョイントトレーニングは、下流タスクの精度を常に向上させるわけではない。 伝達可能な特徴を学習するためのメタ表現学習(MeRLin)を提案する。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。
  論文  参考訳（メタデータ） (2020-11-03T01:57:37Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。