論文の概要: Enhancing Transfer Learning with Flexible Nonparametric Posterior Sampling

• arxiv url: http://arxiv.org/abs/2403.07282v1
• Date: Tue, 12 Mar 2024 03:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 23:03:47.367187
• Title: Enhancing Transfer Learning with Flexible Nonparametric Posterior Sampling
• Title（参考訳）: 柔軟非パラメトリック後方サンプリングによる伝達学習の促進
• Authors: Hyungi Lee, Giung Nam, Edwin Fong, Juho Lee
• Abstract要約: 本稿では、分散シフト問題に対処するフレキシブルな後続サンプリング法である非パラメトリックトランスファーラーニング(NPTL)を提案する。 NPTLは、上流と下流のタスク間の分散シフトを伴うかもしれない伝達学習シナリオに適している。
• 参考スコア（独自算出の注目度）: 22.047309973614876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning has recently shown significant performance across various tasks involving deep neural networks. In these transfer learning scenarios, the prior distribution for downstream data becomes crucial in Bayesian model averaging (BMA). While previous works proposed the prior over the neural network parameters centered around the pre-trained solution, such strategies have limitations when dealing with distribution shifts between upstream and downstream data. This paper introduces nonparametric transfer learning (NPTL), a flexible posterior sampling method to address the distribution shift issue within the context of nonparametric learning. The nonparametric learning (NPL) method is a recent approach that employs a nonparametric prior for posterior sampling, efficiently accounting for model misspecification scenarios, which is suitable for transfer learning scenarios that may involve the distribution shift between upstream and downstream tasks. Through extensive empirical validations, we demonstrate that our approach surpasses other baselines in BMA performance.
• Abstract（参考訳）: トランスファーラーニングは、ディープニューラルネットワークを含む様々なタスクで大きなパフォーマンスを示している。 これらの移行学習シナリオでは、下流データの事前分布はベイズモデル平均化(BMA)において重要である。 事前学習したソリューションを中心としたニューラルネットワークパラメータ上での事前提案はあったが、上流データと下流データ間の分散シフトを扱う場合には、このような戦略には限界がある。 本稿では,非パラメトリック学習の文脈における分布シフト問題に対処するための柔軟な後進サンプリング手法であるnonparametric transfer learning (nptl)を提案する。 非パラメトリック学習法(nonparametric learning, npl)は,上流と下流のタスク間の分散シフトを伴うトランスファー学習シナリオに適した,モデル不特定化シナリオを効率的に考慮し,非パラメトリックプリアーを用いた最近のアプローチである。 実験的な検証を通じて、我々のアプローチがBMA性能の他のベースラインを超えることを示す。

関連論文リスト

• Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset [98.52916361979503]
  非定常性を自動的にモデル化し適応する新しい学習手法を導入する。 非定常的・非政治的強化学習環境において,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:32:40Z)
• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis [10.79615566320291]
  下流性能の最適化を目標として、トランスファーラーニングについて検討する。 任意の事前学習された特徴を入力として取る単純な線形モデルを導入する。 下流タスクのアンサンブル上で平均される下流リスクを最小化することにより、最適事前学習表現を同定する。
  論文  参考訳（メタデータ） (2024-04-18T19:33:55Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Transfer Learning with Gaussian Processes for Bayesian Optimization [9.933956770453438]
  トランスファーラーニングのための階層型GPモデルについて統一的なビューを提供し、メソッド間の関係を分析する。 我々は,既存のアプローチと複雑性の両立する新しい閉形式GP転送モデルを開発した。 大規模実験における異なる手法の性能評価を行い、異なる移動学習手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2021-11-22T14:09:45Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。