論文の概要: Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes

• arxiv url: http://arxiv.org/abs/2306.04901v1
• Date: Thu, 8 Jun 2023 03:08:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 16:33:06.465650
• Title: Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes
• Title（参考訳）: 伝達学習の一般化性能:過パラメータ化と過パラメータ化
• Authors: Peizhong Ju, Sen Lin, Mark S. Squillante, Yingbin Liang, Ness B. Shroff
• Abstract要約: 現実世界のアプリケーションでは、タスクは部分的な類似性を示し、あるアスペクトは似ているが、他のアスペクトは異なるか無関係である。 本研究は,パラメータ伝達の2つの選択肢を包含して,多種多様な移動学習について検討する。 一般化性能を向上させるために,共通部分とタスク特化部分の特徴数を決定するための実践的ガイドラインを提供する。
• 参考スコア（独自算出の注目度）: 61.22448274621503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning is a useful technique for achieving improved performance and reducing training costs by leveraging the knowledge gained from source tasks and applying it to target tasks. Assessing the effectiveness of transfer learning relies on understanding the similarity between the ground truth of the source and target tasks. In real-world applications, tasks often exhibit partial similarity, where certain aspects are similar while others are different or irrelevant. To investigate the impact of partial similarity on transfer learning performance, we focus on a linear regression model with two distinct sets of features: a common part shared across tasks and a task-specific part. Our study explores various types of transfer learning, encompassing two options for parameter transfer. By establishing a theoretical characterization on the error of the learned model, we compare these transfer learning options, particularly examining how generalization performance changes with the number of features/parameters in both underparameterized and overparameterized regimes. Furthermore, we provide practical guidelines for determining the number of features in the common and task-specific parts for improved generalization performance. For example, when the total number of features in the source task's learning model is fixed, we show that it is more advantageous to allocate a greater number of redundant features to the task-specific part rather than the common part. Moreover, in specific scenarios, particularly those characterized by high noise levels and small true parameters, sacrificing certain true features in the common part in favor of employing more redundant features in the task-specific part can yield notable benefits.
• Abstract（参考訳）: トランスファー学習は、ソースタスクから得た知識を活用し、ターゲットタスクに適用することにより、パフォーマンスの向上とトレーニングコストの削減に有用なテクニックである。 伝達学習の有効性を評価することは、情報源の真理と目標タスクの類似性を理解することに依存する。 現実のアプリケーションでは、タスクは部分的な類似性を示し、ある側面は似ているが、他のタスクは異なるか無関係である。 伝達学習性能に対する部分的類似性の影響を調べるために,タスク間で共有される共通部分とタスク固有の部分の2つの特徴セットを持つ線形回帰モデルに着目した。 本研究は、パラメータ転送の2つの選択肢を包含して、様々な種類の転送学習を探索する。 学習モデルの誤りに関する理論的特徴を定式化することにより、これらの伝達学習オプションの比較を行い、特に、パラメータ化と過パラメータ化の両方の条件における特徴/パラメータの数による一般化性能の変化について検討する。 さらに,一般化性能を向上させるために,共通部分やタスク固有の部分の特徴数を決定するための実践的なガイドラインを提案する。 例えば、ソースタスクの学習モデルの機能の合計数が固定されると、共通部分よりもタスク固有の部分に多くの冗長な機能を割り当てることがより有利であることが示されます。 さらに、特定のシナリオ、特に高い騒音レベルと小さな真のパラメータによって特徴づけられるものにおいては、タスク固有の部分でより冗長な特徴を採用することで、共通部分における特定の真の特徴を犠牲にすることで、顕著なメリットが得られる。

関連論文リスト

• Bridging Domains with Approximately Shared Features [26.096779584142986]
  マルチソースドメイン適応は、未知のドメインに機械学習モデルを適用する際のパフォーマンス劣化を低減することを目的としている。 ソースドメインから不変の機能を学ぶことを支持する者もいれば、より多様な機能を好む者もいる。 本稿では,それらの相関関係のばらつきに基づいて特徴の効用を識別し,ドメイン間で$y$のラベルを付ける統計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T04:25:41Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks [30.075430694663293]
  本稿では,2つの線形回帰問題間の伝達学習過程について検討する。 本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
  論文  参考訳（メタデータ） (2020-06-12T08:42:14Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。