論文の概要: Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing

• arxiv url: http://arxiv.org/abs/2602.16531v1
• Date: Wed, 18 Feb 2026 15:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.630916
• Title: Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing
• Title（参考訳）: 複数の事前学習モデルによる線形回帰の伝達学習:過パラメータ化デバイアスによるより事前学習モデルからのベネフィット
• Authors: Daniel Boharon, Yehuda Dar,
• Abstract要約: 複数の最小二乗事前学習モデルを用いて線形回帰タスクの伝達学習について検討する。 我々は,学習対象モデルの試験誤差を解析的に定式化し,対応する経験的評価を提供する。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study transfer learning for a linear regression task using several least-squares pretrained models that can be overparameterized. We formulate the target learning task as optimization that minimizes squared errors on the target dataset with penalty on the distance of the learned model from the pretrained models. We analytically formulate the test error of the learned target model and provide the corresponding empirical evaluations. Our results elucidate when using more pretrained models can improve transfer learning. Specifically, if the pretrained models are overparameterized, using sufficiently many of them is important for beneficial transfer learning. However, the learning may be compromised by overparameterization bias of pretrained models, i.e., the minimum $\ell_2$-norm solution's restriction to a small subspace spanned by the training examples in the high-dimensional parameter space. We propose a simple debiasing via multiplicative correction factor that can reduce the overparameterization bias and leverage more pretrained models to learn a target predictor.
• Abstract（参考訳）: 過パラメータ化可能な最小二乗事前学習モデルを用いて線形回帰タスクの伝達学習について検討する。 対象データセットの2乗誤差を最小限に抑える最適化として目標学習タスクを定式化し,事前学習モデルから学習モデルの距離にペナルティを付与する。 学習対象モデルの試験誤差を解析的に定式化し、対応する経験的評価を提供する。 より事前訓練されたモデルを用いることで、転送学習を改善することができる。 特に、事前訓練されたモデルが過パラメータ化されている場合、十分に多くのモデルを使用することは、有益な伝達学習にとって重要である。 しかし、学習は事前訓練されたモデルの過度パラメータ化バイアス、すなわち、高次元パラメータ空間のトレーニング例に代表される小さな部分空間に対する最小$\ell_2$-norm解の制限によって損なわれる可能性がある。 本稿では,過パラメータ化バイアスを低減し,より事前学習されたモデルを利用して目標予測子を学習する,乗法的補正係数による単純なデバイアス化を提案する。

関連論文リスト

• Personalizing black-box models for nonparametric regression with minimax optimality [17.981373446046366]
  そこで本研究では,限定的なサンプル数を用いて,トレーニング済みのブラックボックスモデルを対象ドメインに適応させる,数ショットのパーソナライゼーションについて検討する。 そこで我々は,ブラックボックス事前学習モデルを回帰処理に組み込むアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-04T08:32:28Z)
• Sharpness-Aware Parameter Selection for Machine Unlearning [6.397490580631141]
  クレジットカード番号やパスワードなど、機密性の高い個人情報が誤って機械学習モデルのトレーニングに組み込まれており、その後削除する必要がある場合が多い。 この問題に対処するために、文献に様々な機械学習技術が提案されている。 提案手法のほとんどは、トレーニングされたモデルから個々のデータサンプルを除去するものである。 これらのタスクの既存の方法は、モデルパラメータの集合全体またはモデルの最後の層のみを更新することで、未学習タスクを行うが、未学習ターゲット機能に最も貢献するモデルパラメータのサブセットが存在することを示す。
  論文  参考訳（メタデータ） (2025-04-08T19:41:07Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• On minimizing the training set fill distance in machine learning regression [0.552480439325792]
  本研究では,選択した集合の充填距離を最小化することを目的としたデータ選択手法を提案する。 FPSを用いてトレーニングセットを選択することで、ガウスカーネル回帰アプローチの特定の場合のモデルの安定性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-20T16:18:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
  我々は2つの人気のある更新手法、微調整と線形探索を比較した。 試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T08:47:06Z)
• Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
  最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。 本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。 もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
  論文  参考訳（メタデータ） (2020-12-16T05:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。