Fugu-MT 論文翻訳(概要): Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models

論文の概要: Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models

arxiv url: http://arxiv.org/abs/2502.16849v1
Date: Mon, 24 Feb 2025 05:13:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:58:02.998172
Title: Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models
Title（参考訳）: 単一インデックスモデルによる教師なし事前学習と伝達学習の有益性
Authors: Taj Jones-McCormick, Aukosh Jagannath, Subhabrata Sen,
Abstract要約: 教師なし事前学習と転送学習は、ニューラルネットワークのトレーニングアルゴリズムを初期化するために一般的に使用される。教師なし事前学習と移動学習が高次元教師あり学習の複雑さに及ぼす影響について検討した。
参考スコア（独自算出の注目度）: 7.71225721416736
License:
Abstract: Unsupervised pre-training and transfer learning are commonly used techniques to initialize training algorithms for neural networks, particularly in settings with limited labeled data. In this paper, we study the effects of unsupervised pre-training and transfer learning on the sample complexity of high-dimensional supervised learning. Specifically, we consider the problem of training a single-layer neural network via online stochastic gradient descent. We establish that pre-training and transfer learning (under concept shift) reduce sample complexity by polynomial factors (in the dimension) under very general assumptions. We also uncover some surprising settings where pre-training grants exponential improvement over random initialization in terms of sample complexity.
Abstract（参考訳）: 教師なし事前学習と転送学習は、ニューラルネットワークのトレーニングアルゴリズム、特にラベル付きデータに制限のある設定を初期化する技術として一般的に用いられている。本稿では,教師なし事前学習と移動学習が高次元教師あり学習の複雑さに与える影響について検討する。具体的には,オンライン確率勾配勾配を用いた単層ニューラルネットワークのトレーニングについて考察する。我々は、事前学習と伝達学習(概念シフト)が、非常に一般的な仮定の下で、多項式因子(次元)によるサンプルの複雑さを減少させることを確立した。また、サンプルの複雑さの観点から、事前学習がランダム初期化よりも指数関数的に改善する、驚くべき設定を明らかにした。

関連論文リスト

DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
マルチオペレータ学習を実現するためのファインチューニング手法を提案する。本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
論文参考訳（メタデータ） (2024-11-11T18:58:46Z)
Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
論文参考訳（メタデータ） (2023-06-14T18:48:04Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
論文参考訳（メタデータ） (2022-06-15T18:35:16Z)
How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文参考訳（メタデータ） (2022-01-21T02:16:52Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文参考訳（メタデータ） (2021-06-08T08:58:00Z)
Learning the Travelling Salesperson Problem Requires Rethinking Generalization [9.176056742068813]
トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
論文参考訳（メタデータ） (2020-06-12T10:14:15Z)
Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。