論文の概要: Double Double Descent: On Generalization Errors in Transfer Learning
between Linear Regression Tasks
- arxiv url: http://arxiv.org/abs/2006.07002v8
- Date: Wed, 28 Sep 2022 15:24:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 02:30:15.786407
- Title: Double Double Descent: On Generalization Errors in Transfer Learning
between Linear Regression Tasks
- Title（参考訳）: 二重降下:線形回帰課題間の伝達学習における一般化誤差について
- Authors: Yehuda Dar and Richard G. Baraniuk
- Abstract要約: 本稿では,2つの線形回帰問題間の伝達学習過程について検討する。
本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
- 参考スコア（独自算出の注目度）: 30.075430694663293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the transfer learning process between two linear regression
problems. An important and timely special case is when the regressors are
overparameterized and perfectly interpolate their training data. We examine a
parameter transfer mechanism whereby a subset of the parameters of the target
task solution are constrained to the values learned for a related source task.
We analytically characterize the generalization error of the target task in
terms of the salient factors in the transfer learning architecture, i.e., the
number of examples available, the number of (free) parameters in each of the
tasks, the number of parameters transferred from the source to target task, and
the relation between the two tasks. Our non-asymptotic analysis shows that the
generalization error of the target task follows a two-dimensional double
descent trend (with respect to the number of free parameters in each of the
tasks) that is controlled by the transfer learning factors. Our analysis points
to specific cases where the transfer of parameters is beneficial as a
substitute for extra overparameterization (i.e., additional free parameters in
the target task). Specifically, we show that the usefulness of a transfer
learning setting is fragile and depends on a delicate interplay among the set
of transferred parameters, the relation between the tasks, and the true
solution. We also demonstrate that overparameterized transfer learning is not
necessarily more beneficial when the source task is closer or identical to the
target task.
- Abstract（参考訳）: 2つの線形回帰問題間の伝達学習過程について検討する。
重要かつタイムリーな特別なケースは、レグレッサーがオーバーパラメータ化され、トレーニングデータを完全に補間する時である。
本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
本研究では,移動学習アーキテクチャにおける有意な要因,例えば利用可能な例数,各タスクにおける(自由な)パラメータ数,ソースから対象タスクへ転送されるパラメータ数,および2つのタスクの関係から,対象タスクの一般化誤差を解析的に特徴付ける。
非漸近解析により、対象タスクの一般化誤差は、伝達学習因子によって制御される2次元の二重降下傾向(各タスクにおける自由パラメータ数)に従うことが示された。
分析では、パラメータの移動が余剰パラメータ化の代用として有用である場合(すなわち、対象タスクに追加の自由パラメータ)を指摘する。
具体的には、転送学習設定の有用性が脆弱であり、転送パラメータの集合、タスク間の関係、真の解の間の繊細な相互作用に依存することを示す。
また、ソースタスクが目的タスクに近い場合や同一である場合、過パラメータ化転送学習は必ずしも有用ではないことを示す。
関連論文リスト
- Generalization Performance of Transfer Learning: Overparameterized and
Underparameterized Regimes [61.22448274621503]
現実世界のアプリケーションでは、タスクは部分的な類似性を示し、あるアスペクトは似ているが、他のアスペクトは異なるか無関係である。
本研究は,パラメータ伝達の2つの選択肢を包含して,多種多様な移動学習について検討する。
一般化性能を向上させるために,共通部分とタスク特化部分の特徴数を決定するための実践的ガイドラインを提供する。
論文 参考訳（メタデータ） (2023-06-08T03:08:40Z) - Task Difficulty Aware Parameter Allocation & Regularization for Lifelong
Learning [20.177260510548535]
本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。
提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
論文 参考訳（メタデータ） (2023-04-11T15:38:21Z) - ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:33:02Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。
十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
論文 参考訳（メタデータ） (2021-03-09T18:46:01Z) - Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
GAN(Generative Adversarial Network)に対する連続学習手法を提案する。
我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。
機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-06T05:09:37Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。