論文の概要: An Information-Theoretic Analysis for Transfer Learning: Error Bounds
and Applications
- arxiv url: http://arxiv.org/abs/2207.05377v1
- Date: Tue, 12 Jul 2022 08:20:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 15:51:17.776260
- Title: An Information-Theoretic Analysis for Transfer Learning: Error Bounds
and Applications
- Title(参考訳): 伝達学習のための情報理論解析:誤差境界とその応用
- Authors: Xuetong Wu, Jonathan H. Manton, Uwe Aickelin, Jingge Zhu
- Abstract要約: 本稿では,伝達学習アルゴリズムの一般化誤差と過剰リスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
そこで本研究では,ソースデータとターゲットデータの重み付けを適応的に調整するInfoBoostアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 5.081241420920605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning, or domain adaptation, is concerned with machine learning
problems in which training and testing data come from possibly different
probability distributions. In this work, we give an information-theoretic
analysis on the generalization error and excess risk of transfer learning
algorithms, following a line of work initiated by Russo and Xu. Our results
suggest, perhaps as expected, that the Kullback-Leibler (KL) divergence
$D(\mu||\mu')$ plays an important role in the characterizations where $\mu$ and
$\mu'$ denote the distribution of the training data and the testing test,
respectively. Specifically, we provide generalization error upper bounds for
the empirical risk minimization (ERM) algorithm where data from both
distributions are available in the training phase. We further apply the
analysis to approximated ERM methods such as the Gibbs algorithm and the
stochastic gradient descent method. We then generalize the mutual information
bound with $\phi$-divergence and Wasserstein distance. These generalizations
lead to tighter bounds and can handle the case when $\mu$ is not absolutely
continuous with respect to $\mu'$. Furthermore, we apply a new set of
techniques to obtain an alternative upper bound which gives a fast (and
optimal) learning rate for some learning problems. Finally, inspired by the
derived bounds, we propose the InfoBoost algorithm in which the importance
weights for source and target data are adjusted adaptively in accordance to
information measures. The empirical results show the effectiveness of the
proposed algorithm.
- Abstract(参考訳): トランスファーラーニング(英: Transfer learning)またはドメイン適応(ドメイン適応)は、トレーニングとテストデータがおそらく異なる確率分布から来る機械学習の問題である。
本研究では,russo と xu が始めた一連の作業に従って,一般化誤差と転送学習アルゴリズムの過剰リスクに関する情報理論的分析を行う。
我々の結果は、おそらく予想通り、Kulback-Leibler (KL) divergence $D(\mu||\mu')$が、それぞれトレーニングデータとテストテストの分布を示す場合、キャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
具体的には,経験的リスク最小化 (ERM) アルゴリズムに対して,両分布からのデータをトレーニングフェーズで利用できる一般化誤差上限を提供する。
さらに,gibbs法や確率勾配降下法などの近似erm法にも解析を適用した。
次に、$\phi$-divergence と Wasserstein 距離で有界な相互情報を一般化する。
これらの一般化はより厳密な境界につながり、$\mu'$ に関して$\mu$ が絶対連続でない場合を扱うことができる。
さらに,いくつかの学習問題に対して高速(かつ最適な)学習率を与える代替上界を得るために,新たな手法を適用した。
最後に、導出境界に触発されて、情報量に応じてソースデータとターゲットデータの重み付けを適応的に調整するinfoboostアルゴリズムを提案する。
実験の結果,提案アルゴリズムの有効性が示された。
関連論文リスト
- Meta-Learning Operators to Optimality from Multi-Task Non-IID Data [1.7587442088965224]
すべてのデータを使って共通の表現関数を学ぶことは、計算の労力と統計的一般化の両方に利益がある。
既存の異方性に依存しないメタラーニングは、表現更新に偏りを生じさせるため、ノイズ項のスケーリングは、ソースタスクの数に好ましくない。
我々は、Collins et al. (2021) で提案された交互化最小化退化スキームの適応 $texttDFW$ を導入し、最適な表現に線形収束を確立する。
論文 参考訳(メタデータ) (2023-08-08T17:56:20Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳(メタデータ) (2023-01-28T00:49:28Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳(メタデータ) (2022-12-26T15:13:13Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳(メタデータ) (2022-02-08T12:58:14Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳(メタデータ) (2021-06-14T22:24:23Z) - Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。
オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。
どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
論文 参考訳(メタデータ) (2021-05-29T15:39:43Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳(メタデータ) (2020-09-01T15:08:23Z) - Estimates on Learning Rates for Multi-Penalty Distribution Regression [5.999239529678357]
本研究では,学習理論の枠組みに基づく分散回帰のためのマルチペナルティ正規化アルゴリズムについて検討する。
Hilbert 空間 $mathcalH_K$ と Mercer カーネル $K$ を平均埋め込み技術により再現する。
この研究は、既存の文献では研究されていない非標準設定$f_rhonotinmathcalH_K$における分布回帰の学習率も導出している。
論文 参考訳(メタデータ) (2020-06-16T09:31:58Z) - Information-theoretic analysis for transfer learning [5.081241420920605]
本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
論文 参考訳(メタデータ) (2020-05-18T13:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。