論文の概要: Minimax Optimal Transfer Learning for Kernel-based Nonparametric
Regression
- arxiv url: http://arxiv.org/abs/2310.13966v1
- Date: Sat, 21 Oct 2023 10:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 04:19:38.772958
- Title: Minimax Optimal Transfer Learning for Kernel-based Nonparametric
Regression
- Title(参考訳): カーネルベース非パラメトリック回帰のためのminimax最適伝達学習
- Authors: Chao Wang, Caixing Wang, Xin He, and Xingdong Feng
- Abstract要約: 本稿では,非パラメトリック回帰の文脈における伝達学習問題について考察する。
目的は、実用性と理論的保証の間のギャップを埋めることである。
- 参考スコア(独自算出の注目度): 18.240776405802205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, transfer learning has garnered significant attention in the
machine learning community. Its ability to leverage knowledge from related
studies to improve generalization performance in a target study has made it
highly appealing. This paper focuses on investigating the transfer learning
problem within the context of nonparametric regression over a reproducing
kernel Hilbert space. The aim is to bridge the gap between practical
effectiveness and theoretical guarantees. We specifically consider two
scenarios: one where the transferable sources are known and another where they
are unknown. For the known transferable source case, we propose a two-step
kernel-based estimator by solely using kernel ridge regression. For the unknown
case, we develop a novel method based on an efficient aggregation algorithm,
which can automatically detect and alleviate the effects of negative sources.
This paper provides the statistical properties of the desired estimators and
establishes the minimax optimal rate. Through extensive numerical experiments
on synthetic data and real examples, we validate our theoretical findings and
demonstrate the effectiveness of our proposed method.
- Abstract(参考訳): 近年,移動学習は機械学習コミュニティにおいて大きな注目を集めている。
対象研究における知識を活用して一般化性能を向上させる能力は、非常に魅力的である。
本稿では,再生核ヒルベルト空間上の非パラメトリック回帰の文脈における伝達学習問題について考察する。
目的は、実用性と理論的保証のギャップを埋めることである。
具体的には、転送可能なソースが知られているシナリオと、それらが未知であるシナリオの2つについて検討する。
既知の転送可能ソースの場合,カーネルリッジ回帰のみを用いた2段階のカーネルベース推定器を提案する。
未知の場合において、負のソースの影響を自動的に検出し緩和する効率的な集約アルゴリズムに基づく新しい手法を開発する。
本稿では,所望の推定器の統計特性を提供し,ミニマックス最適速度を定式化する。
合成データおよび実例に関する広範な数値実験を通じて,提案手法の有効性を検証し,本手法の有効性を実証する。
関連論文リスト
- Knowledge Transfer across Multiple Principal Component Analysis Studies [8.602833477729899]
本稿では,複数音源成分分析(PCA)研究から有用な情報を抽出する2段階移動学習アルゴリズムを提案する。
最初のステップでは、複数の研究にまたがる共有部分空間情報をGrassmannian barycenterと呼ばれる提案手法で統合する。
第1段階から得られた共有部分空間の推定器を利用して、対象のプライベート部分空間を推定する。
論文 参考訳(メタデータ) (2024-03-12T09:15:12Z) - Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax
Analysis and Adaptive Procedure [5.303044915173525]
我々は,最小限のリスクを対数係数まで達成できる信頼しきい値推定器と呼ばれる新しい推定器を開発した。
次に,パラメータ空間の幅の広い対数係数までの最小リスクを適応的に達成するデータ駆動アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-22T16:24:04Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳(メタデータ) (2022-11-26T14:40:19Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Transfer Learning for Linear Regression: a Statistical Test of Gain [2.1550839871882017]
Transfer Learningは、ソースデータセットから同様のターゲットデータセットへの知識の再利用を目指している。
新しい入力ベクトル$x$に対する転送の質は固有基底における表現に依存することが示されている。
微調整モデルがベースターゲットモデルよりも予測2次リスクが低いかどうかを予測するために統計的テストが構築される。
論文 参考訳(メタデータ) (2021-02-18T17:46:26Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳(メタデータ) (2021-01-26T17:11:40Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。