論文の概要: Minimax optimal transfer learning for high-dimensional additive regression

• arxiv url: http://arxiv.org/abs/2509.06308v1
• Date: Mon, 08 Sep 2025 03:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.955964
• Title: Minimax optimal transfer learning for high-dimensional additive regression
• Title（参考訳）: 高次元加算回帰のための極小極小移動学習
• Authors: Seung Hyun Moon,
• Abstract要約: まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。 そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper studies high-dimensional additive regression under the transfer learning framework, where one observes samples from a target population together with auxiliary samples from different but potentially related regression models. We first introduce a target-only estimation procedure based on the smooth backfitting estimator with local linear smoothing. In contrast to previous work, we establish general error bounds under sub-Weibull($\alpha$) noise, thereby accommodating heavy-tailed error distributions. In the sub-exponential case ($\alpha=1$), we show that the estimator attains the minimax lower bound under regularity conditions, which requires a substantial departure from existing proof strategies. We then develop a novel two-stage estimation method within a transfer learning framework, and provide theoretical guarantees at both the population and empirical levels. Error bounds are derived for each stage under general tail conditions, and we further demonstrate that the minimax optimal rate is achieved when the auxiliary and target distributions are sufficiently close. All theoretical results are supported by simulation studies and real data analysis.
• Abstract（参考訳）: 本稿では,移動学習の枠組みの下で高次元付加回帰を考察し,対象集団からのサンプルを,異なるが潜在的に関連する回帰モデルからの補助サンプルとともに観察する。 まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。 従来の研究とは対照的に、Weibull($\alpha$)ノイズの下で一般的な誤差境界を確立し、重み付き誤差分布を調節する。 部分指数ケース($\alpha=1$)では、推定器が正則性条件下でのミニマックス下限を達成することを示し、既存の証明戦略からかなり離れる必要がある。 そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。 一般的な尾部条件下では誤差境界を導出し, 補助分布と目標分布が十分近い場合に, 最小値の最適値が得られることを示す。 全ての理論的結果はシミュレーション研究と実データ分析によって支えられている。

関連論文リスト

• Minimax Optimal Two-Stage Algorithm For Moment Estimation Under Covariate Shift [10.35788775775647]
  ソースとターゲットの分布が分かっている場合,問題の最小境界について検討する。 具体的には、まず、ソース分布の下で関数の最適推定器を訓練し、その後、モーメント推定器を校正する確率比再重み付け手順を使用する。 この問題を解決するために、二重ロバスト性を確保し、対応する上界を与える推定器の切り離されたバージョンを提案する。
  論文  参考訳（メタデータ） (2025-06-30T01:32:36Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Universality in Transfer Learning for Linear Models [18.427215139020625]
  本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前訓練した重み付き線形モデル上での勾配降下(SGD)の利用と,目標分布から設定した小さなトレーニングデータセットについて検討する。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。