論文の概要: Data Sampling Affects the Complexity of Online SGD over Dependent Data

• arxiv url: http://arxiv.org/abs/2204.00006v1
• Date: Thu, 31 Mar 2022 07:48:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 15:21:45.582332
• Title: Data Sampling Affects the Complexity of Online SGD over Dependent Data
• Title（参考訳）: データサンプリングは依存データに対するオンラインSGDの複雑さに影響を与える
• Authors: Shaocong Ma, Ziyi Chen, Yi Zhou, Kaiyi Ji, Yingbin Liang
• Abstract要約: 本研究では,データサンプリング方式の違いが,高依存データに対するオンライン勾配勾配勾配の複雑さにどのように影響するかを示す。 データサンプルのサブサンプリングさえも、高度に依存したデータに対するオンラインSGDの収束を加速することができる。
• 参考スコア（独自算出の注目度）: 54.92366535993012
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Conventional machine learning applications typically assume that data samples are independently and identically distributed (i.i.d.). However, practical scenarios often involve a data-generating process that produces highly dependent data samples, which are known to heavily bias the stochastic optimization process and slow down the convergence of learning. In this paper, we conduct a fundamental study on how different stochastic data sampling schemes affect the sample complexity of online stochastic gradient descent (SGD) over highly dependent data. Specifically, with a $\phi$-mixing model of data dependence, we show that online SGD with proper periodic data-subsampling achieves an improved sample complexity over the standard online SGD in the full spectrum of the data dependence level. Interestingly, even subsampling a subset of data samples can accelerate the convergence of online SGD over highly dependent data. Moreover, we show that online SGD with mini-batch sampling can further substantially improve the sample complexity over online SGD with periodic data-subsampling over highly dependent data. Numerical experiments validate our theoretical results.
• Abstract（参考訳）: 従来の機械学習アプリケーションは、データサンプルが独立して、同一に分散されていると仮定する。 しかし、実践的なシナリオは、しばしば、確率的最適化プロセスに大きく偏り、学習の収束を遅らせることで知られる、高度に依存したデータサンプルを生成するデータ生成プロセスを含む。 本稿では,オンライン確率勾配降下 (sgd) の高度依存データに対するサンプル複雑性に異なる確率的データサンプリング方式がどのように影響するかに関する基礎研究を行う。 具体的には、データ依存の$\phi$-mixingモデルを用いて、適切な周期データサブサンプリングを伴うオンラインsgdが、データ依存レベルの全スペクトルにおいて、標準オンラインsgdよりもサンプル複雑性が向上することを示す。 興味深いことに、データサンプルのサブサンプリングさえも、高度に依存したデータに対するオンラインSGDの収束を加速することができる。 さらに,ミニバッチサンプリングによるオンラインsgdは,高度に依存するデータに対する定期的なデータサブサンプリングにより,オンラインsgdよりもサンプルの複雑さが大幅に向上することを示す。 数値実験は我々の理論結果を検証する。

関連論文リスト

• RPS: A Generic Reservoir Patterns Sampler [1.09784964592609]
  本稿では,ストリーミングバッチデータからの直接パターンサンプリングを容易にするために,重み付き貯水池を利用する手法を提案する。 本稿では、時間的バイアスに対処し、逐次的、重み付け、および非重み付けを含む様々なパターンタイプを処理できる汎用アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-31T16:25:21Z)
• Stochastic Gradient Descent with Adaptive Data [4.119418481809095]
  勾配降下(SGD)は、オンライン学習シナリオにおいて特に有用である強力な最適化手法である。 オペレーションリサーチにおけるポリシー最適化問題へのSGDの適用には、環境を変えてポリシー更新に使用するデータに影響を与えるという、明確な課題が伴う。 過去の決定が生成したデータに与える影響は、勾配推定におけるバイアスを導入し、iidケースに存在しないオンライン学習の不安定性の潜在的な原因を示す。 適応データによるSGDの収束速度は, 政策誘起力学の混合時間に係わる限り, 古典的イド設定とほとんど同様であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T02:58:32Z)
• Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
  我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。 次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
  論文  参考訳（メタデータ） (2024-08-22T15:20:32Z)
• On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
  我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。 以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
  論文  参考訳（メタデータ） (2024-03-20T17:59:58Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
  本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。 大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-09-01T07:06:44Z)
• Towards Synthetic Multivariate Time Series Generation for Flare Forecasting [5.098461305284216]
  データ駆動・レアイベント予測アルゴリズムのトレーニングにおける制限要因の1つは、関心のあるイベントの不足である。 本研究では,データインフォームド・オーバーサンプリングを行う手段として,条件付き生成逆数ネットワーク(CGAN)の有用性を検討する。
  論文  参考訳（メタデータ） (2021-05-16T22:23:23Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)
• Data-Free Network Quantization With Adversarial Knowledge Distillation [39.92282726292386]
  本稿では,合成データを用いたデータフリーネットワーク量子化について考察する。 合成データはジェネレータから生成されるが、ジェネレータのトレーニングや量子化にはデータを使用しない。 複数のジェネレータと複数の学生を用いて多様な対向サンプルを作成できることを示す。
  論文  参考訳（メタデータ） (2020-05-08T16:24:55Z)
• Progressive Growing of Neural ODEs [7.558546277131641]
  本研究では,長期連続予測のためのNODEの漸進的学習パラダイムを提案する。 具体的には、カリキュラム学習の原則に従って、トレーニングが進むにつれて、データとネットワーク容量の複雑さが徐々に増大する。 合成データと実交通データ(PeMSベイエリア交通データ)を併用した実験により,バニラノードの性能を64%以上改善した。
  論文  参考訳（メタデータ） (2020-03-08T01:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。