論文の概要: Towards a Unified Analysis of Kernel-based Methods Under Covariate Shift

• arxiv url: http://arxiv.org/abs/2310.08237v2
• Date: Thu, 19 Oct 2023 07:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 18:36:19.943222
• Title: Towards a Unified Analysis of Kernel-based Methods Under Covariate Shift
• Title（参考訳）: 共変量シフト下におけるカーネル手法の統一解析に向けて
• Authors: Xingdong Feng, Xin He, Caixing Wang, Chao Wang, Jingnan Zhang
• Abstract要約: 再生カーネルヒルベルト空間における一般非パラメトリック手法の統一解析を提案する。 本研究は, 損失関数ファミリーに属する一般損失について理論的に検討した。 この結果は,2乗損失を用いた文献の最適結果と一致する。
• 参考スコア（独自算出の注目度）: 18.240776405802205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Covariate shift occurs prevalently in practice, where the input distributions of the source and target data are substantially different. Despite its practical importance in various learning problems, most of the existing methods only focus on some specific learning tasks and are not well validated theoretically and numerically. To tackle this problem, we propose a unified analysis of general nonparametric methods in a reproducing kernel Hilbert space (RKHS) under covariate shift. Our theoretical results are established for a general loss belonging to a rich loss function family, which includes many commonly used methods as special cases, such as mean regression, quantile regression, likelihood-based classification, and margin-based classification. Two types of covariate shift problems are the focus of this paper and the sharp convergence rates are established for a general loss function to provide a unified theoretical analysis, which concurs with the optimal results in literature where the squared loss is used. Extensive numerical studies on synthetic and real examples confirm our theoretical findings and further illustrate the effectiveness of our proposed method.
• Abstract（参考訳）: 共変量シフト(covariate shift)は、ソースとターゲットデータの入力分布が実質的に異なる、実際には一般的に発生する。 様々な学習問題において実践的な重要性があるにもかかわらず、既存の手法の多くは特定の学習課題にのみ焦点をあてており、理論的にも数値的にも十分に検証されていない。 そこで本研究では,共変量シフト下での再生核ヒルベルト空間(rkhs)における一般非パラメトリック法の統一的解析を提案する。 提案手法は, 平均回帰, 量子回帰, 確率ベース分類, マージンベース分類などの特殊事例としてよく用いられる手法を含む, リッチ損失関数ファミリーに属する一般損失について理論的に検討した。 2種類の共変量シフト問題は本論文の焦点であり、一般損失関数に対して鋭い収束率を確立し、二乗損失を使用する文献において最適結果と一致する統一的理論解析を提供する。 合成および実例に関する広範囲な数値的研究により,本手法の有効性が検証された。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Inconsistency, Instability, and Generalization Gap of Deep Neural Network Training [14.871738070617491]
  不整合は、損失景観の鋭さよりも、一般化ギャップの信頼性の高い指標であることを示す。 この結果は、共蒸留やアンサンブルといった既存の手法の理論的基盤も提供する。
  論文  参考訳（メタデータ） (2023-05-31T20:28:13Z)
• Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
  仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。 本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
  論文  参考訳（メタデータ） (2023-05-31T09:38:21Z)
• SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum Cocoercive Variational Inequalities [137.6408511310322]
  有限サムコヒーレンシブ変分不等式の問題を考える。 強い単調な問題に対しては、この方法を用いて解への線形収束を達成することができる。
  論文  参考訳（メタデータ） (2022-10-12T08:04:48Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization [44.88645911638269]
  安定学習文学における独立駆動の重要度アルゴリズムは経験的効果を示している。 本稿では,このようなアルゴリズムの有効性を,特徴選択プロセスとして説明することにより理論的に証明する。 理想的な条件下では、独立駆動の重み付けアルゴリズムがこの集合の変数を識別できることを証明した。
  論文  参考訳（メタデータ） (2021-11-03T17:18:49Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。