論文の概要: Near-Optimal Linear Regression under Distribution Shift

• arxiv url: http://arxiv.org/abs/2106.12108v1
• Date: Wed, 23 Jun 2021 00:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 01:01:16.078565
• Title: Near-Optimal Linear Regression under Distribution Shift
• Title（参考訳）: 分布シフト下における近似線形回帰
• Authors: Qi Lei, Wei Hu, Jason D. Lee
• Abstract要約: 線形ミニマックス推定器は、様々なソース/ターゲット分布に対する非線形推定器の中でも、ミニマックスリスクの絶対定数内にあることを示す。
• 参考スコア（独自算出の注目度）: 63.87137348308034
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Transfer learning is essential when sufficient data comes from the source domain, with scarce labeled data from the target domain. We develop estimators that achieve minimax linear risk for linear regression problems under distribution shift. Our algorithms cover different transfer learning settings including covariate shift and model shift. We also consider when data are generated from either linear or general nonlinear models. We show that linear minimax estimators are within an absolute constant of the minimax risk even among nonlinear estimators for various source/target distributions.
• Abstract（参考訳）: 十分なデータがソースドメインから来る場合、転送学習は必須であり、対象ドメインからのラベル付きデータが不足する。 分布シフト中の線形回帰問題に対する最小線形リスクを実現する推定器を開発する。 アルゴリズムは,共変量シフトやモデルシフトなど,さまざまなトランスファー学習設定をカバーする。 また、線形あるいは一般非線形モデルからデータを生成する場合についても検討する。 線形ミニマックス推定器は、様々なソース/ターゲット分布に対する非線形推定器であっても、ミニマックスリスクの絶対定数であることを示す。

関連論文リスト

• Minimum-Norm Interpolation Under Covariate Shift [14.863831433459902]
  高次元線形回帰に関する非分布研究は、テキシトベニンオーバーフィッティング(textitbenign overfitting)として知られる現象の同定につながった。 本稿では,移動学習環境における線形補間器の非漸近的過剰リスク境界を初めて証明する。
  論文  参考訳（メタデータ） (2024-03-31T01:41:57Z)
• Statistical Estimation Under Distribution Shift: Wasserstein Perturbations and Minimax Theory [24.540342159350015]
  我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。 データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。 位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
  論文  参考訳（メタデータ） (2023-08-03T16:19:40Z)
• Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
  連立線形特徴学習と非パラメトリック関数推定のための新しい手法を提案する。 代替最小化を用いることで、データを反復的に回転させ、先頭方向との整合性を改善する。 提案手法の予測リスクは,最小限の仮定と明示的なレートで最小限のリスクに収束することを確認した。
  論文  参考訳（メタデータ） (2023-07-24T12:52:55Z)
• First Steps Toward Understanding the Extrapolation of Nonlinear Models to Unseen Domains [35.76184529520015]
  本稿では,構造的領域シフトに対する非線形モデルの外挿を解析するための最初のステップについて述べる。 我々は、$f(x)=sum f_i(x_i)$という形の非線形モデルの族が、目に見えない分布に外挿可能であることを証明した。
  論文  参考訳（メタデータ） (2022-11-21T18:41:19Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。