論文の概要: On the Generalization for Transfer Learning: An Information-Theoretic Analysis
- arxiv url: http://arxiv.org/abs/2207.05377v2
- Date: Thu, 8 Aug 2024 02:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 21:29:15.765515
- Title: On the Generalization for Transfer Learning: An Information-Theoretic Analysis
- Title（参考訳）: 伝達学習の一般化について:情報理論解析
- Authors: Xuetong Wu, Jonathan H. Manton, Uwe Aickelin, Jingge Zhu,
- Abstract要約: 一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
- 参考スコア（独自算出の注目度）: 8.102199960821165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning, or domain adaptation, is concerned with machine learning problems in which training and testing data come from possibly different probability distributions. In this work, we give an information-theoretic analysis of the generalization error and excess risk of transfer learning algorithms. Our results suggest, perhaps as expected, that the Kullback-Leibler (KL) divergence $D(\mu\|\mu')$ plays an important role in the characterizations where $\mu$ and $\mu'$ denote the distribution of the training data and the testing data, respectively. Specifically, we provide generalization error and excess risk upper bounds for learning algorithms where data from both distributions are available in the training phase. Recognizing that the bounds could be sub-optimal in general, we provide improved excess risk upper bounds for a certain class of algorithms, including the empirical risk minimization (ERM) algorithm, by making stronger assumptions through the \textit{central condition}. To demonstrate the usefulness of the bounds, we further extend the analysis to the Gibbs algorithm and the noisy stochastic gradient descent method. We then generalize the mutual information bound with other divergences such as $\phi$-divergence and Wasserstein distance, which may lead to tighter bounds and can handle the case when $\mu$ is not absolutely continuous with respect to $\mu'$. Several numerical results are provided to demonstrate our theoretical findings. Lastly, to address the problem that the bounds are often not directly applicable in practice due to the absence of the distributional knowledge of the data, we develop an algorithm (called InfoBoost) that dynamically adjusts the importance weights for both source and target data based on certain information measures. The empirical results show the effectiveness of the proposed algorithm.
- Abstract（参考訳）: トランスファーラーニング(英: Transfer learning)またはドメイン適応(ドメイン適応)は、トレーニングとテストデータがおそらく異なる確率分布から来る機械学習の問題に関係している。
本研究では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leibler (KL) の発散$D(\mu\|\mu')$が、それぞれトレーニングデータとテストデータの分布を示す場合、キャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
具体的には、両分布のデータがトレーニングフェーズで利用可能となる学習アルゴリズムに対して、一般化誤差と過剰リスク上限を提供する。
実験的リスク最小化(ERM)アルゴリズムを含むある種のアルゴリズムに対して,より強い仮定をtextit{central condition} を通じて行うことにより,限界が一般に準最適であることを示す。
境界値の有用性を示すために,さらにギブスアルゴリズムと雑音性確率勾配勾配法に解析を拡張した。
すると、$\phi$-divergence や Wasserstein 距離のような他の発散点と結びついた相互情報を一般化し、より厳密な境界を導き、$\mu$ が $\mu'$ に対して絶対連続でない場合を扱うことができる。
理論的な結果を示すために,いくつかの数値的な結果が得られた。
最後に,データの分布的知識が欠如しているため,実際に境界が適用されないという問題に対処するため,特定の情報量に基づいて,ソースデータとターゲットデータの重み付けを動的に調整するアルゴリズム(InfoBoost)を開発した。
実験の結果,提案アルゴリズムの有効性が示された。
関連論文リスト
- Learning-Based TSP-Solvers Tend to Be Overly Greedy [8.79364699260219]
本研究では, ランダムに生成した学習型解法の性質を検証するため, 最近傍密度と呼ばれる統計的尺度を構築した。
学習に基づく解法の性能が、そのような拡張データに大きく依存していることを検証する。
要するに、学習ベースのTSPソルバの限界は、過度に欲求的になりがちであり、AIを活用した最適化ソルバに深く影響する可能性がある。
論文 参考訳（メタデータ） (2025-02-02T12:06:13Z) - On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。
We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
論文 参考訳（メタデータ） (2024-02-22T21:55:41Z) - Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳（メタデータ） (2023-11-10T15:33:19Z) - Hypothesis Transfer Learning with Surrogate Classification Losses:
Generalization Bounds through Algorithmic Stability [3.908842679355255]
仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。
本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
論文 参考訳（メタデータ） (2023-05-31T09:38:21Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。
オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。
どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
論文 参考訳（メタデータ） (2021-05-29T15:39:43Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳（メタデータ） (2020-09-01T15:08:23Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Information-theoretic analysis for transfer learning [5.081241420920605]
本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
論文 参考訳（メタデータ） (2020-05-18T13:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。