論文の概要: A More Unified Theory of Transfer Learning

• arxiv url: http://arxiv.org/abs/2408.16189v1
• Date: Thu, 29 Aug 2024 01:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 15:25:12.154454
• Title: A More Unified Theory of Transfer Learning
• Title（参考訳）: 伝達学習のより統一された理論
• Authors: Steve Hanneke, Samory Kpotufe,
• Abstract要約: 連続性の基本的なモジュライを$delta$で表すと、多くの古典的関連性尺度の根元に現れる。 我々は、学習者がソースデータとターゲットデータの両方にアクセス可能な一般的な状況に特に関心を持っている。
• 参考スコア（独自算出の注目度）: 18.53111473571927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that some basic moduli of continuity $\delta$ -- which measure how fast target risk decreases as source risk decreases -- appear to be at the root of many of the classical relatedness measures in transfer learning and related literature. Namely, bounds in terms of $\delta$ recover many of the existing bounds in terms of other measures of relatedness -- both in regression and classification -- and can at times be tighter. We are particularly interested in general situations where the learner has access to both source data and some or no target data. The unified perspective allowed by the moduli $\delta$ allow us to extend many existing notions of relatedness at once to these scenarios involving target data: interestingly, while $\delta$ itself might not be efficiently estimated, adaptive procedures exist -- based on reductions to confidence sets -- which can get nearly tight rates in terms of $\delta$ with no prior distributional knowledge. Such adaptivity to unknown $\delta$ immediately implies adaptivity to many classical relatedness notions, in terms of combined source and target samples' sizes.
• Abstract（参考訳）: ソースリスクが減少するにつれてターゲットリスクが減少する速度を測る$\delta$は、移行学習や関連文献における古典的関連性尺度の根本にあると考えられる。 つまり、$\delta$という用語のバウンダリは、回帰と分類の両方において、関連性の他の尺度で、既存のバウンダリの多くを回復し、時にはより厳密にすることができる。 我々は、学習者がソースデータとターゲットデータの両方にアクセス可能な一般的な状況に特に関心を持っている。 興味深いことに、$\delta$自身は効率的に推定されないかもしれないが、アダプティブなプロシージャは信頼集合への還元に基づいて存在する。 未知の$\delta$へのそのような適応性は、多くの古典的関連性の概念への適応性を、ソースとターゲット標本のサイズの組み合わせの観点から直ちに意味する。

関連論文リスト

• S$Ω$I: Score-based O-INFORMATION Estimation [7.399561232927219]
  S$Omega$I を導入し,システムに関する制約的な仮定を伴わずに初めて O-information を計算できるようにした。 本実験は, 実世界のユースケースにおけるS$Omega$Iの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-02-08T13:38:23Z)
• On the Connection between $L_p$ and Risk Consistency and its Implications on Regularized Kernel Methods [0.0]
  本研究の目的は,リスク一貫性と損失関数のより広いクラスに対する$L_p$一貫性の密接な関係を確立することである。 この接続をシフトした損失関数に転送しようとする試みは、このシフトが、基礎となる確率測度で必要とされる仮定を、他の多くの結果と同じ程度に減らさないことを驚くほど明らかにしている。
  論文  参考訳（メタデータ） (2023-03-27T13:51:56Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
  一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。 我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。 次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
  論文  参考訳（メタデータ） (2022-07-12T08:20:41Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)
• Online Selective Classification with Limited Feedback [82.68009460301585]
  オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。 私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。 smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
  論文  参考訳（メタデータ） (2021-10-27T08:00:53Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Dimensionality reduction, regularization, and generalization in overparameterized regressions [8.615625517708324]
  主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T15:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。