論文の概要: Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis

• arxiv url: http://arxiv.org/abs/2404.12481v2
• Date: Fri, 11 Apr 2025 15:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:02.968027
• Title: Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis
• Title（参考訳）: 微粒バイアス分散解析による最適特徴伝達の理解
• Authors: Yufan Li, Subhabrata Sen, Ben Adlam,
• Abstract要約: 転送学習パラダイムでは、データ豊富な事前学習段階で有用な表現(または特徴)を学習し、事前訓練された表現を使用して、データスカース下流タスクのモデルパフォーマンスを改善する。 そこで本研究では,下流性能の最適化を目的としたトランスファーラーニングについて検討する。
• 参考スコア（独自算出の注目度）: 10.79615566320291
• License:
• Abstract: In the transfer learning paradigm models learn useful representations (or features) during a data-rich pretraining stage, and then use the pretrained representation to improve model performance on data-scarce downstream tasks. In this work, we explore transfer learning with the goal of optimizing downstream performance. We introduce a simple linear model that takes as input an arbitrary pretrained feature transform. We derive exact asymptotics of the downstream risk and its \textit{fine-grained} bias-variance decomposition. We then identify the pretrained representation that optimizes the asymptotic downstream bias and variance averaged over an ensemble of downstream tasks. Our theoretical and empirical analysis uncovers the surprising phenomenon that the optimal featurization is naturally sparse, even in the absence of explicit sparsity-inducing priors or penalties. Additionally, we identify a phase transition where the optimal pretrained representation shifts from hard selection to soft selection of relevant features.
• Abstract（参考訳）: 転送学習パラダイムでは、データ豊富な事前学習段階で有用な表現(または特徴)を学習し、事前訓練された表現を使用して、データスカース下流タスクのモデルパフォーマンスを改善する。 そこで本研究では,下流性能の最適化を目的としたトランスファーラーニングについて検討する。 任意の事前学習された特徴変換を入力として利用する単純な線形モデルを導入する。 我々は,下流リスクの正確な漸近と,それに対するtextit{fine-fine} バイアス分散の分解を導出する。 次に,下流タスクのアンサンブル上で平均される漸近的下流バイアスと分散を最適化する事前学習された表現を同定する。 我々の理論的および経験的分析は、明らかな疎結合を誘発する先例や罰則が存在しない場合でも、最適の成果化が自然に希薄であるという驚くべき現象を明らかにする。 さらに、最適な事前訓練された表現がハードセレクションからソフトセレクションに変化する位相遷移を同定する。

関連論文リスト

• Model-Robust and Adaptive-Optimal Transfer Learning for Tackling Concept Shifts in Nonparametric Regression [7.243632426715939]
  本稿では、最適性を適応的に達成しつつ、モデルの誤特定に対して頑健な転写学習手順を提案する。 仮説伝達学習アルゴリズムの一般的なクラスにおいて、ガウス核を特定するための過剰リスクの適応収束率を導出する。
  論文  参考訳（メタデータ） (2025-01-18T20:33:37Z)
• Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
  トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。 本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。 トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
  論文  参考訳（メタデータ） (2024-09-25T20:22:06Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality [6.230751621285322]
  トランスラッソは、複数の異なる組織からのデータを補助サンプルとして組み込むことにより、標的組織における遺伝子発現予測の性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-06-18T14:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。