論文の概要: Hypothesis Transfer Learning with Surrogate Classification Losses:
Generalization Bounds through Algorithmic Stability
- arxiv url: http://arxiv.org/abs/2305.19694v2
- Date: Fri, 14 Jul 2023 14:53:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 16:39:12.239486
- Title: Hypothesis Transfer Learning with Surrogate Classification Losses:
Generalization Bounds through Algorithmic Stability
- Title（参考訳）: 代理分類損失を用いた仮説伝達学習:アルゴリズム的安定性による一般化境界
- Authors: Anass Aghbalou, Guillaume Staerman
- Abstract要約: 仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。
本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
- 参考スコア（独自算出の注目度）: 3.908842679355255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hypothesis transfer learning (HTL) contrasts domain adaptation by allowing
for a previous task leverage, named the source, into a new one, the target,
without requiring access to the source data. Indeed, HTL relies only on a
hypothesis learnt from such source data, relieving the hurdle of expansive data
storage and providing great practical benefits. Hence, HTL is highly beneficial
for real-world applications relying on big data. The analysis of such a method
from a theoretical perspective faces multiple challenges, particularly in
classification tasks. This paper deals with this problem by studying the
learning theory of HTL through algorithmic stability, an attractive theoretical
framework for machine learning algorithms analysis. In particular, we are
interested in the statistical behaviour of the regularized empirical risk
minimizers in the case of binary classification. Our stability analysis
provides learning guarantees under mild assumptions. Consequently, we derive
several complexity-free generalization bounds for essential statistical
quantities like the training error, the excess risk and cross-validation
estimates. These refined bounds allow understanding the benefits of transfer
learning and comparing the behaviour of standard losses in different scenarios,
leading to valuable insights for practitioners.
- Abstract（参考訳）: 仮説伝達学習(htl)は、ソースを名付ける前のタスクレバレッジを、ソースデータへのアクセスを必要とせずに、新しいタスク、ターゲットにすることで、ドメイン適応を対比する。
実際、HTLはそのようなデータから学んだ仮説にのみ依存し、拡張データストレージのハードルを軽減し、非常に実用的な利点を提供する。
したがって、htlはビッグデータに依存する実世界のアプリケーションにとって非常に有益である。
このような手法を理論的観点から分析することは、特に分類タスクにおいて、複数の課題に直面している。
本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性を通じて,htlの学習理論を研究することにより,この問題に対処する。
特に,二分分類の場合の正規化経験的リスク最小化器の統計的挙動に関心がある。
私たちの安定性分析は、穏やかな仮定の下での学習の保証を提供します。
その結果,訓練誤差,過剰リスク,相互評価推定など,本質的な統計量に対する複雑性フリーな一般化境界を導出する。
これらの洗練された境界は、トランスファー学習の利点を理解し、異なるシナリオにおける標準損失の振る舞いを比較することを可能にし、実践者にとって貴重な洞察をもたらす。
関連論文リスト
- Understanding Transfer Learning via Mean-field Analysis [5.7150083558242075]
我々は、KL規則化された経験的リスク最小化を用いて、$alpha$-ERMとファインチューニングの2つの主要なトランスファー学習シナリオを検討する。
平均場状態における一層ニューラルネットワークを用いたトランスファーラーニングの利点を示す。
論文 参考訳（メタデータ） (2024-10-22T16:00:44Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。
鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。
本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。
我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。
提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
論文 参考訳（メタデータ） (2024-03-18T14:51:19Z) - Knowledge Transfer across Multiple Principal Component Analysis Studies [8.602833477729899]
本稿では,複数音源成分分析(PCA)研究から有用な情報を抽出する2段階移動学習アルゴリズムを提案する。
最初のステップでは、複数の研究にまたがる共有部分空間情報をGrassmannian barycenterと呼ばれる提案手法で統合する。
第1段階から得られた共有部分空間の推定器を利用して、対象のプライベート部分空間を推定する。
論文 参考訳（メタデータ） (2024-03-12T09:15:12Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳（メタデータ） (2023-06-12T06:52:04Z) - On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
論文 参考訳（メタデータ） (2022-07-12T08:20:41Z) - Rethinking Importance Weighting for Transfer Learning [71.81262398144946]
教師あり学習における主要な前提は、トレーニングとテストデータが同じ確率分布に従うことである。
現実の機械学習タスクはますます複雑になりつつあるため、このような課題に対処するための新しいアプローチが検討されている。
論文 参考訳（メタデータ） (2021-12-19T14:35:25Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳（メタデータ） (2021-06-03T09:50:13Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳（メタデータ） (2021-03-08T23:10:33Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳（メタデータ） (2020-12-14T10:36:06Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。