論文の概要: These Are Not All the Features You Are Looking For: A Fundamental Bottleneck in Supervised Pretraining
- arxiv url: http://arxiv.org/abs/2506.18221v2
- Date: Thu, 26 Jun 2025 13:50:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 13:31:57.726606
- Title: These Are Not All the Features You Are Looking For: A Fundamental Bottleneck in Supervised Pretraining
- Title（参考訳）: 目指す機能は全部じゃない! プレトレーニングを監督する基本的ボツネック
- Authors: Xingyu Alice Yang, Jianyu Zhang, Léon Bottou,
- Abstract要約: トランスファーラーニングは、最新の機械学習の基盤であり、幅広いデータで事前訓練されたモデルを、最小限の新しいデータで新しいタスクに適応する方法を約束する。
本研究では,各タスクに対する事前学習混合物からのモデル伝達を評価し,事前学習した特徴がタスク固有の直接訓練のパフォーマンスに適合するかどうかを評価する。
ディープラーニングモデルでは、トレーニング中に同様の機能をエンコードすると、ネットワークが新しい機能を学習できないという、基本的な制限を特定します。
- 参考スコア（独自算出の注目度）: 10.749875317643031
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Transfer learning is a cornerstone of modern machine learning, promising a way to adapt models pretrained on a broad mix of data to new tasks with minimal new data. However, a significant challenge remains in ensuring that transferred features are sufficient to handle unseen datasets, amplified by the difficulty of quantifying whether two tasks are "related". To address these challenges, we evaluate model transfer from a pretraining mixture to each of its component tasks, assessing whether pretrained features can match the performance of task-specific direct training. We identify a fundamental limitation in deep learning models -- an "information saturation bottleneck" -- where networks fail to learn new features once they encode similar competing features during training. When restricted to learning only a subset of key features during pretraining, models will permanently lose critical features for transfer and perform inconsistently on data distributions, even components of the training mixture. Empirical evidence from published studies suggests that this phenomenon is pervasive in deep learning architectures -- factors such as data distribution or ordering affect the features that current representation learning methods can learn over time. This study suggests that relying solely on large-scale networks may not be as effective as focusing on task-specific training, when available. We propose richer feature representations as a potential solution to better generalize across new datasets and, specifically, present existing methods alongside a novel approach, the initial steps towards addressing this challenge.
- Abstract（参考訳）: トランスファーラーニングは、最新の機械学習の基盤であり、幅広いデータで事前訓練されたモデルを、最小限の新しいデータで新しいタスクに適応する方法を約束する。
しかしながら、2つのタスクが"関連"であるかどうかの定量化が困難であることから、トランスファー機能が未知のデータセットを扱うのに十分なことを保証する上で、大きな課題が残っている。
これらの課題に対処するため,各タスクに対する事前学習混合物からのモデル伝達を評価し,事前学習した特徴がタスク固有の直接訓練の性能に合致するかどうかを評価する。
トレーニング中に同様の機能をエンコードした後に、ネットワークが新機能を学習できないような、ディープラーニングモデル("情報飽和ボトルネック")の基本的な制限を特定します。
事前トレーニング中に重要な機能のサブセットのみを学ぶことに制限された場合、モデルは転送の重要な特徴を永久に失い、データ分散、トレーニングミックスのコンポーネントにも一貫性がない。
この現象は、データ分散や順序付けなどの要因が、現在の表現学習手法が時間とともに学習できる特徴に影響を与える、深層学習アーキテクチャにおいて広範に行われていることを、公表された研究から実証的な証拠として示唆している。
本研究は,大規模ネットワークにのみ依存することは,タスク固有のトレーニングに注目するほど効果的ではないことを示唆する。
我々は、新しいデータセットをより一般化するための潜在的なソリューションとして、よりリッチな特徴表現を提案し、特に、この課題に対処するための最初のステップである、新しいアプローチと共に既存のメソッドを提示します。
関連論文リスト
- Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。
具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。
我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:01:58Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Frugal Reinforcement-based Active Learning [12.18340575383456]
本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。
提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。
また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
論文 参考訳（メタデータ） (2022-12-09T14:17:45Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-07-11T22:48:42Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳（メタデータ） (2020-06-16T22:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。