論文の概要: On the Provable Advantage of Unsupervised Pretraining

• arxiv url: http://arxiv.org/abs/2303.01566v1
• Date: Thu, 2 Mar 2023 20:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 17:06:59.872648
• Title: On the Provable Advantage of Unsupervised Pretraining
• Title（参考訳）: 教師なし事前訓練の証明可能な利点について
• Authors: Jiawei Ge, Shange Tang, Jianqing Fan, Chi Jin
• Abstract要約: 教師なし事前学習は、現代の大規模機械学習システムにおいて重要な要素である。 本稿では、教師なし表現学習タスクを潜在変数モデルの抽象クラスで指定する汎用フレームワークについて検討する。 軽度の'informative'条件下では、下流タスクに対して$tildemathcalO(sqrtmathcalC_Phi/m + sqrtmathcalC_Psi/n)$の過剰なリスクを達成する。
• 参考スコア（独自算出の注目度）: 26.065736182939222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised pretraining, which learns a useful representation using a large amount of unlabeled data to facilitate the learning of downstream tasks, is a critical component of modern large-scale machine learning systems. Despite its tremendous empirical success, the rigorous theoretical understanding of why unsupervised pretraining generally helps remains rather limited -- most existing results are restricted to particular methods or approaches for unsupervised pretraining with specialized structural assumptions. This paper studies a generic framework, where the unsupervised representation learning task is specified by an abstract class of latent variable models $\Phi$ and the downstream task is specified by a class of prediction functions $\Psi$. We consider a natural approach of using Maximum Likelihood Estimation (MLE) for unsupervised pretraining and Empirical Risk Minimization (ERM) for learning downstream tasks. We prove that, under a mild ''informative'' condition, our algorithm achieves an excess risk of $\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_\Phi/m} + \sqrt{\mathcal{C}_\Psi/n})$ for downstream tasks, where $\mathcal{C}_\Phi, \mathcal{C}_\Psi$ are complexity measures of function classes $\Phi, \Psi$, and $m, n$ are the number of unlabeled and labeled data respectively. Comparing to the baseline of $\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_{\Phi \circ \Psi}/n})$ achieved by performing supervised learning using only the labeled data, our result rigorously shows the benefit of unsupervised pretraining when $m \gg n$ and $\mathcal{C}_{\Phi\circ \Psi} > \mathcal{C}_\Psi$. This paper further shows that our generic framework covers a wide range of approaches for unsupervised pretraining, including factor models, Gaussian mixture models, and contrastive learning.
• Abstract（参考訳）: 下流タスクの学習を容易にするために大量のラベルのないデータを使って有用な表現を学習する教師なし事前学習は、現代の大規模機械学習システムの重要なコンポーネントである。 その壮大な経験的成功にもかかわらず、教師なし事前訓練が一般的に役立つ理由に関する厳密な理論的理解は、かなり限定的であり、既存の結果の多くは、特別な構造的仮定で教師なし事前訓練を行うための特定の方法やアプローチに限られている。 本稿では,教師なし表現学習タスクを潜在変数モデルの抽象クラス$\phi$で指定し,下流タスクを$\psi$の予測関数のクラスで指定する汎用フレームワークについて述べる。 我々は、教師なし事前学習と経験的リスク最小化(ERM)のために、MLE(Maximum Likelihood Estimation)を用いる自然なアプローチを検討する。 軽度の 'informative' 条件の下で、我々のアルゴリズムは、下流タスクに対して $\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_\Phi/m} + \sqrt{\mathcal{C}_\Psi/n})$ を余剰リスクとし、ここでは $\mathcal{C}_\Phi, \mathcal{C}_\Psi$ は、関数クラスの複雑性度 $\Phi, \Psi$, $m, n$ はそれぞれラベル付きおよびラベル付きデータの数であることを示す。 ラベル付きデータのみを使用して教師あり学習を行うことによって達成される$\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_{\Phi \circ \Psi}/n})のベースラインと比較すると, $m \gg n$ と $\mathcal{C}_{\Phi\circ \Psi} > \mathcal{C}_\Psi$ のとき,教師なし事前学習のメリットを厳格に示すことができる。 さらに,本フレームワークは,因子モデル,ガウス混合モデル,コントラスト学習など,教師なし事前学習のための幅広いアプローチをカバーすることを示した。

関連論文リスト

• On Characterizing and Mitigating Imbalances in Multi-Instance Partial Label Learning [57.18649648182171]
  我々は、MI-PLLの文脈において、これまで研究されていない問題に対処するためのコントリビューションを行っている。 最小限の仮定をしながら、クラス固有のMI-PLLのリスク境界を導出する。 我々の理論は、$sigma$が学習の不均衡に大きな影響を及ぼすというユニークな現象を明らかにしている。
  論文  参考訳（メタデータ） (2024-07-13T20:56:34Z)
• Aligning Model Properties via Conformal Risk Control [4.710921988115686]
  トレーニング後のアライメントは、人間のフィードバックによって約束されるが、しばしば生成AI設定に限定される。 数値的あるいは分類的な出力を持つ従来の非生成的設定では、単一サンプル出力による誤調整を検出することは依然として困難である。 プロパティテストを通じてモデルアライメントを解釈し、アライメントモデル $f$ を関数のサブセット $mathcalP$ に属するものとして定義する。
  論文  参考訳（メタデータ） (2024-06-26T22:24:46Z)
• Uncertainty-Aware Reward-Free Exploration with General Function Approximation [69.27868448449755]
  本稿では、algと呼ばれる報酬のない強化学習アルゴリズムを提案する。 私たちのアルゴリズムの背後にある重要なアイデアは、環境を探索する上で不確実性を認識した本質的な報酬である。 実験の結果、GFA-RFEは最先端の教師なしRLアルゴリズムよりも優れ、あるいは同等であることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:37:18Z)
• Blessing of Class Diversity in Pre-training [54.335530406959435]
  事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。 我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
  論文  参考訳（メタデータ） (2022-09-07T20:10:12Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)
• For self-supervised learning, Rationality implies generalization, provably [13.526562756159809]
  自己超越法を用いて得られた分類器の一般化ギャップに新たな上限を証明した。 我々は,CIFAR-10 や ImageNet 上の多くの一般的な表現学習ベース分類器に対して,我々の境界は空白ではないことを示す。
  論文  参考訳（メタデータ） (2020-10-16T17:07:52Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)
• Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
  エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。 我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-29T02:02:40Z)
• Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling [2.599882743586164]
  トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。 実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。 次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
  論文  参考訳（メタデータ） (2020-02-12T18:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。