論文の概要: Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression

• arxiv url: http://arxiv.org/abs/2510.15337v1
• Date: Fri, 17 Oct 2025 05:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.485526
• Title: Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression
• Title（参考訳）: 高次元線形回帰における良性オーバーフィッティングのための伝達学習
• Authors: Yeichan Kim, Ilmun Kim, Seyoung Park,
• Abstract要約: 高次元線形回帰における移動学習と最小$$-norm補間器(MNI)の交叉について検討する。 我々の研究は、新しい2段階のトランスファーMNIアプローチを提案し、そのトレードオフを分析することでギャップを埋める。
• 参考スコア（独自算出の注目度）: 7.414126402359073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning is a key component of modern machine learning, enhancing the performance of target tasks by leveraging diverse data sources. Simultaneously, overparameterized models such as the minimum-$\ell_2$-norm interpolator (MNI) in high-dimensional linear regression have garnered significant attention for their remarkable generalization capabilities, a property known as benign overfitting. Despite their individual importance, the intersection of transfer learning and MNI remains largely unexplored. Our research bridges this gap by proposing a novel two-step Transfer MNI approach and analyzing its trade-offs. We characterize its non-asymptotic excess risk and identify conditions under which it outperforms the target-only MNI. Our analysis reveals free-lunch covariate shift regimes, where leveraging heterogeneous data yields the benefit of knowledge transfer at limited cost. To operationalize our findings, we develop a data-driven procedure to detect informative sources and introduce an ensemble method incorporating multiple informative Transfer MNIs. Finite-sample experiments demonstrate the robustness of our methods to model and data heterogeneity, confirming their advantage.
• Abstract（参考訳）: トランスファーラーニングは現代の機械学習の重要なコンポーネントであり、多様なデータソースを活用することで、ターゲットタスクのパフォーマンスを向上させる。 同時に、高次元線形回帰における最小値$$\ell_2$-norm補間子 (MNI) のような過パラメータ化モデルは、その顕著な一般化能力、良性オーバーフィッティング(英語版)と呼ばれる性質に対して大きな注目を集めている。 個々の重要性にもかかわらず、トランスファーラーニングとMNIの交わりはほとんど未解明のままである。 我々の研究は、新しい2段階のトランスファーMNIアプローチを提案し、そのトレードオフを分析することで、このギャップを埋める。 我々は、その非漸近的過剰リスクを特徴づけ、ターゲットのみのMNIを上回る条件を特定する。 解析の結果,不均一なデータを活用することで,限られたコストで知識伝達のメリットが得られる自由ランチ共変量シフト機構が明らかになった。 本研究では,情報発信源を検出するためのデータ駆動方式を開発し,複数の情報伝達MNIを組み込んだアンサンブル手法を提案する。 有限サンプル実験は、不均一性をモデル化する手法の頑健さを実証し、その利点を裏付けるものである。

関連論文リスト

• Multi-Level Heterogeneous Knowledge Transfer Network on Forward Scattering Center Model for Limited Samples SAR ATR [10.701687030427422]
  本研究は,前向き散乱中心モデル(FSCM)という,純粋および鍵標的知識を移行するための新しいシミュレーションデータについて検討する。 この目的を達成するために,FSCMの知識を特徴,分布,カテゴリレベルから完全に移行する多レベル異種知識伝達ネットワークを提案する。 特に,FSCMデータとSAR画像による2つの新しいデータセットに対する広範な実験により,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2025-09-28T03:04:04Z)
• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
  我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。 提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
  論文  参考訳（メタデータ） (2022-04-04T14:49:19Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。