論文の概要: Minimax Optimal Transfer Learning for Kernel-based Nonparametric Regression

• arxiv url: http://arxiv.org/abs/2310.13966v1
• Date: Sat, 21 Oct 2023 10:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:19:38.772958
• Title: Minimax Optimal Transfer Learning for Kernel-based Nonparametric Regression
• Title（参考訳）: カーネルベース非パラメトリック回帰のためのminimax最適伝達学習
• Authors: Chao Wang, Caixing Wang, Xin He, and Xingdong Feng
• Abstract要約: 本稿では,非パラメトリック回帰の文脈における伝達学習問題について考察する。 目的は、実用性と理論的保証の間のギャップを埋めることである。
• 参考スコア（独自算出の注目度）: 18.240776405802205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, transfer learning has garnered significant attention in the machine learning community. Its ability to leverage knowledge from related studies to improve generalization performance in a target study has made it highly appealing. This paper focuses on investigating the transfer learning problem within the context of nonparametric regression over a reproducing kernel Hilbert space. The aim is to bridge the gap between practical effectiveness and theoretical guarantees. We specifically consider two scenarios: one where the transferable sources are known and another where they are unknown. For the known transferable source case, we propose a two-step kernel-based estimator by solely using kernel ridge regression. For the unknown case, we develop a novel method based on an efficient aggregation algorithm, which can automatically detect and alleviate the effects of negative sources. This paper provides the statistical properties of the desired estimators and establishes the minimax optimal rate. Through extensive numerical experiments on synthetic data and real examples, we validate our theoretical findings and demonstrate the effectiveness of our proposed method.
• Abstract（参考訳）: 近年,移動学習は機械学習コミュニティにおいて大きな注目を集めている。 対象研究における知識を活用して一般化性能を向上させる能力は、非常に魅力的である。 本稿では,再生核ヒルベルト空間上の非パラメトリック回帰の文脈における伝達学習問題について考察する。 目的は、実用性と理論的保証のギャップを埋めることである。 具体的には、転送可能なソースが知られているシナリオと、それらが未知であるシナリオの2つについて検討する。 既知の転送可能ソースの場合,カーネルリッジ回帰のみを用いた2段階のカーネルベース推定器を提案する。 未知の場合において、負のソースの影響を自動的に検出し緩和する効率的な集約アルゴリズムに基づく新しい手法を開発する。 本稿では,所望の推定器の統計特性を提供し,ミニマックス最適速度を定式化する。 合成データおよび実例に関する広範な数値実験を通じて,提案手法の有効性を検証し,本手法の有効性を実証する。

関連論文リスト

• Transfer Learning of CATE with Kernel Ridge Regression [4.588222946914528]
  カーネルリッジ回帰(KRR)を用いた条件平均処理効果(CATE)の重畳適応変換学習法を提案する。 我々は, 弱い重なり合いとCATE関数の複雑さの両方に対する適応性を強調した, 急激な非漸近的MSE境界による手法の理論的正当性を提供する。
  論文  参考訳（メタデータ） (2025-02-17T01:07:45Z)
• Model-Robust and Adaptive-Optimal Transfer Learning for Tackling Concept Shifts in Nonparametric Regression [7.243632426715939]
  本稿では、最適性を適応的に達成しつつ、モデルの誤特定に対して頑健な転写学習手順を提案する。 仮説伝達学習アルゴリズムの一般的なクラスにおいて、ガウス核を特定するための過剰リスクの適応収束率を導出する。
  論文  参考訳（メタデータ） (2025-01-18T20:33:37Z)
• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax Analysis and Adaptive Procedure [5.303044915173525]
  我々は,最小限のリスクを対数係数まで達成できる信頼しきい値推定器と呼ばれる新しい推定器を開発した。 次に,パラメータ空間の幅の広い対数係数までの最小リスクを適応的に達成するデータ駆動アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:24:04Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。