論文の概要: Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks

• arxiv url: http://arxiv.org/abs/2603.28739v1
• Date: Mon, 30 Mar 2026 17:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.549584
• Title: Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks
• Title（参考訳）: 線形回帰と線形ニューラルネットワークにおける伝達学習への期待誤差境界
• Authors: Meitong Liu, Christopher Jung, Rui Li, Xue Feng, Han Zhao,
• Abstract要約: 我々は,主課題の一般化において,補助データがいつ,どのように役立つか,という新たな知見を提供する。 線形回帰については、期待される一般化誤差に対する正確な閉形式式を導出する。 幅$q leq K$の共有表現を持つ線形ニューラルネットワークの場合、K$は補助的なタスクの数である。
• 参考スコア（独自算出の注目度）: 11.687087085203686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In transfer learning, the learner leverages auxiliary data to improve generalization on a main task. However, the precise theoretical understanding of when and how auxiliary data help remains incomplete. We provide new insights on this issue in two canonical linear settings: ordinary least squares regression and under-parameterized linear neural networks. For linear regression, we derive exact closed-form expressions for the expected generalization error with bias-variance decomposition, yielding necessary and sufficient conditions for auxiliary tasks to improve generalization on the main task. We also derive globally optimal task weights as outputs of solvable optimization programs, with consistency guarantees for empirical estimates. For linear neural networks with shared representations of width $q \leq K$, where $K$ is the number of auxiliary tasks, we derive a non-asymptotic expectation bound on the generalization error, yielding the first non-vacuous sufficient condition for beneficial auxiliary learning in this setting, as well as principled directions for task weight curation. We achieve this by proving a new column-wise low-rank perturbation bound for random matrices, which improves upon existing bounds by preserving fine-grained column structures. Our results are verified on synthetic data simulated with controlled parameters.
• Abstract（参考訳）: 転送学習において、学習者は補助データを活用し、メインタスクの一般化を改善する。 しかし、いつ、どのように補助的なデータが役立つかの正確な理論的理解はいまだに不完全である。 通常の最小二乗回帰とパラメータ以下線形ニューラルネットワークの2つの標準線形設定でこの問題に関する新たな知見を提供する。 線形回帰について、偏差分解を伴う予測一般化誤差に対する正確な閉形式式を導出し、主タスクの一般化を改善するために補助タスクに必要な十分な条件を導出する。 また, 解法最適化プログラムの出力として最適タスク重み付けを導出し, 経験的推定の整合性を保証する。 幅$q \leq K$ の共有表現を持つ線形ニューラルネットワークの場合、K$ は補助的タスクの数であり、一般化誤差に縛られた漸近的でない期待条件を導出し、この設定において有用な補助的学習のための最初の空でない十分な条件を与える。 これを実現するために、ランダム行列に対する新しい列次低ランク摂動を証明し、細粒度カラム構造を保存して既存の境界を改善する。 本研究は,制御パラメータを模擬した合成データを用いて検証した。

関連論文リスト

• Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks [24.2043855572415]
  L1係数とL2係数をチューニングする際の検証損失に対する一般化誤差の分布依存境界を求める。 我々はその結果をリッジ回帰の一般化にまで拡張し、そこでは基底真理分布の平均を考慮に入れたより厳密な境界を達成する。
  論文  参考訳（メタデータ） (2025-07-07T15:08:45Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
  線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。 まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。 理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
  論文  参考訳（メタデータ） (2024-06-10T12:25:13Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Automatic Debiased Machine Learning for Dynamic Treatment Effects and General Nested Functionals [23.31865419578237]
  我々は、自動脱バイアス機械学習の考え方を動的治療体制に拡張し、より一般的にネストされた機能に拡張する。 離散的な処理を施した動的処理系に対する多重ロバストな式は、ネスト平均回帰のリース表現器のキャラクタリゼーションにより再定式化可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-25T19:54:17Z)
• The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
  本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。 十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。