論文の概要: TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression

• arxiv url: http://arxiv.org/abs/2404.01153v1
• Date: Mon, 1 Apr 2024 14:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:15:37.702112
• Title: TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression
• Title（参考訳）: 変換:高次元回帰のための共変量シフトロバスト変換学習
• Authors: Zelin He, Ying Sun, Jingyuan Liu, Runze Li,
• Abstract要約: 対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
• 参考スコア（独自算出の注目度）: 11.040033344386366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main challenge that sets transfer learning apart from traditional supervised learning is the distribution shift, reflected as the shift between the source and target models and that between the marginal covariate distributions. In this work, we tackle model shifts in the presence of covariate shifts in the high-dimensional regression setting. Specifically, we propose a two-step method with a novel fused-regularizer that effectively leverages samples from source tasks to improve the learning performance on a target task with limited samples. Nonasymptotic bound is provided for the estimation error of the target model, showing the robustness of the proposed method to covariate shifts. We further establish conditions under which the estimator is minimax-optimal. Additionally, we extend the method to a distributed setting, allowing for a pretraining-finetuning strategy, requiring just one round of communication while retaining the estimation rate of the centralized version. Numerical tests validate our theory, highlighting the method's robustness to covariate shifts.
• Abstract（参考訳）: 伝達学習を従来の教師付き学習から切り離す主な課題は、ソースモデルとターゲットモデルの間のシフトとして反映される分布シフトである。 本研究では,高次元回帰設定における共変量シフトの存在下でのモデルシフトに取り組む。 具体的には、ソースタスクからのサンプルを効果的に活用し、限られたサンプルで対象タスクの学習性能を向上させる2段階の融合正規化手法を提案する。 非漸近的境界は、目標モデルの推定誤差に対して設けられ、シフトを共変させるための提案手法の堅牢性を示す。 さらに、推定器がminimax-Optimalである条件を確立する。 さらに,本手法を分散環境に拡張し,集中型バージョンの推定率を維持しつつ,1ラウンドの通信しか必要とせず,事前学習型ファインタニング戦略を実現する。 数値実験は我々の理論を検証し、共変量シフトに対する手法の頑健さを強調した。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Robust Correction of Sampling Bias Using Cumulative Distribution Functions [19.551668880584973]
  変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。 これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
  論文  参考訳（メタデータ） (2020-10-23T22:13:00Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。