論文の概要: A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms
- arxiv url: http://arxiv.org/abs/2109.01377v1
- Date: Fri, 3 Sep 2021 08:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 13:47:20.866568
- Title: A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms
- Title（参考訳）: オンライン)転送学習へのベイズ的アプローチ--理論とアルゴリズム
- Authors: Xuetong Wu, Jonathan H. Manton, Uwe Aickelin, Jingge Zhu
- Abstract要約: 本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。
例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
- 参考スコア（独自算出の注目度）: 6.193838300896449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning is a machine learning paradigm where knowledge from one
problem is utilized to solve a new but related problem. On the one hand, it is
conceivable that knowledge from one task could be useful for solving a related
task. On the other hand, it is also recognized that if not executed properly,
transfer learning algorithms can in fact impair the learning performance
instead of improving it - commonly known as negative transfer. In this paper,
we study transfer learning from a Bayesian perspective, where a parametric
statistical model is used. Specifically, we study three variants of transfer
learning problems, instantaneous, online, and time-variant transfer learning.
For each problem, we define an appropriate objective function, and provide
either exact expressions or upper bounds on the learning performance using
information-theoretic quantities, which allow simple and explicit
characterizations when the sample size becomes large. Furthermore, examples
show that the derived bounds are accurate even for small sample sizes. The
obtained bounds give valuable insights on the effect of prior knowledge for
transfer learning in our formulation. In particular, we formally characterize
the conditions under which negative transfer occurs. Lastly, we devise two
(online) transfer learning algorithms that are amenable to practical
implementations. Specifically, one algorithm does not require the parametric
assumption, thus extending our results to more general models. We demonstrate
the effectiveness of our algorithms with real data set, especially when the
source and target data have a strong similarity.
- Abstract（参考訳）: 転送学習は機械学習のパラダイムであり、ある問題からの知識を新しいが関連する問題を解決するために利用する。
一方、あるタスクからの知識は、関連するタスクを解決するのに有用であると考えられる。
一方, 伝達学習アルゴリズムは, 適切に実行されていない場合, 学習性能を向上する代わりに, 実際に学習性能を損なう可能性があることも認識されている。
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な客観的関数を定義し、情報理論量を用いて学習性能の正確な表現または上限を提供し、サンプルサイズが大きくなると単純かつ明示的な特徴付けを可能にする。
さらに、サンプルサイズが小さい場合でも導出境界は正確であることを示す。
得られた境界は、我々の定式化における転校学習における事前知識の効果についての貴重な洞察を与える。
特に、負の移動が起こる条件を形式的に特徴付ける。
最後に,実践的な実装に適した2つの(オンライン)トランスファー学習アルゴリズムを考案する。
具体的には、1つのアルゴリズムはパラメトリック仮定を必要としないため、より一般的なモデルに結果を拡張できる。
特にソースとターゲットのデータに強い類似性がある場合,実データを用いたアルゴリズムの有効性を示す。
関連論文リスト
- Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳（メタデータ） (2022-02-04T14:12:31Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Online Transfer Learning: Negative Transfer and Effect of Prior
Knowledge [6.193838300896449]
ターゲットサンプルが順次到着している間に、ソースサンプルがオフラインの方法で与えられるオンライン転送学習の問題を研究します。
我々は,オンライン転送学習問題の期待後悔を定義し,情報理論量を用いて後悔の上限を与える。
例えば、導出境界は小さなサンプルサイズであっても正確である。
論文 参考訳（メタデータ） (2021-05-04T12:12:14Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳（メタデータ） (2020-08-26T17:23:40Z) - Limits of Transfer Learning [0.0]
我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。
これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
論文 参考訳（メタデータ） (2020-06-23T01:48:23Z) - On the Robustness of Active Learning [0.7340017786387767]
Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。
十分な注意とドメイン知識を持っていないことがよくあります。
そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
論文 参考訳（メタデータ） (2020-06-18T09:07:23Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳（メタデータ） (2020-06-16T22:49:26Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳（メタデータ） (2020-01-02T14:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。