論文の概要: A General Framework for Analyzing Stochastic Dynamics in Learning Algorithms

• arxiv url: http://arxiv.org/abs/2006.06171v3
• Date: Wed, 28 Sep 2022 16:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 14:42:47.539327
• Title: A General Framework for Analyzing Stochastic Dynamics in Learning Algorithms
• Title（参考訳）: 学習アルゴリズムにおける確率力学解析のための一般フレームワーク
• Authors: Chi-Ning Chou, Juspreet Singh Sandhu, Mien Brabeeba Wang, Tiancheng Yu
• Abstract要約: そこで我々は,「鶏卵」問題に取り組み,学習アルゴリズムのダイナミクスを解析するための一般的な枠組みを提供する3段階のレシピを提案する。 本フレームワークは, 停止時間やマルティンゲール濃度などの確率論から標準技術を構成する。 問題は、強い凸関数の勾配降下、ストリーミング主成分分析、勾配降下更新を伴う線形帯域幅である。
• 参考スコア（独自算出の注目度）: 9.677141637870637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the challenges in analyzing learning algorithms is the circular entanglement between the objective value and the stochastic noise. This is also known as the "chicken and egg" phenomenon and traditionally, there is no principled way to tackle this issue. People solve the problem by utilizing the special structure of the dynamic, and hence the analysis would be difficult to generalize. In this work, we present a streamlined three-step recipe to tackle the "chicken and egg" problem and give a general framework for analyzing stochastic dynamics in learning algorithms. Our framework composes standard techniques from probability theory, such as stopping time and martingale concentration. We demonstrate the power and flexibility of our framework by giving a unifying analysis for three very different learning problems with the last iterate and the strong uniform high probability convergence guarantee. The problems are stochastic gradient descent for strongly convex functions, streaming principal component analysis, and linear bandit with stochastic gradient descent updates. We either improve or match the state-of-the-art bounds on all three dynamics.
• Abstract（参考訳）: 学習アルゴリズムの分析における課題の1つは、目的値と確率的雑音の間の円形の絡み合いである。 これは鶏卵現象としても知られており、伝統的にこの問題に対処するための原則的な方法はない。 人々は力学の特別な構造を利用して問題を解くため、解析を一般化することは困難である。 本研究では,「チッケン・アンド・エッグ」問題に取り組むための3段階のレシピを合理化し,学習アルゴリズムの確率力学解析のための汎用フレームワークを提案する。 本フレームワークは, 停止時間やマルティンゲール濃度などの確率論から標準技術を構成する。 我々は,最後の繰り返しと強い一様高確率収束保証を伴う3つの全く異なる学習問題を統一的に解析することで,フレームワークのパワーと柔軟性を実証する。 問題は、強凸関数に対する確率勾配降下、ストリーミング主成分分析、確率勾配降下更新を伴う線形バンドイットである。 私たちは、すべての3つのダイナミクスの最先端の境界を改善したり、一致させたりします。

関連論文リスト

• The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise [17.493808856903303]
  近似アルゴリズムを解析する根本的な課題は、その安定性を確立することである。 本稿では,マルティンゲール差分雑音設定からマルコフ雑音設定へ有界な安定に対するボルカー・メイン定理を拡張する。 我々の分析の中心は、少数の関数の変化の減少率であり、これは多量の強い法則の形式とよく用いられるV4 Lynovドリフト条件の両方によって示唆される。
  論文  参考訳（メタデータ） (2024-01-15T17:20:17Z)
• Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods [37.1630298053787]
  我々はヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。 グローバルな複雑性保証を備えた分散アルゴリズムと二階アルゴリズムの統一的なビューを提供する。
  論文  参考訳（メタデータ） (2023-02-23T12:18:28Z)
• On the Stability and Generalization of Triplet Learning [55.75784102837832]
  トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
  論文  参考訳（メタデータ） (2023-02-20T07:32:50Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Learning Non-Vacuous Generalization Bounds from Optimization [8.294831479902658]
  最適化の観点からは、単純だが空でない一般化を示す。 我々は、勾配アルゴリズムによってアクセスされた仮説セットが本質的にフラクタル的であることを利用して、この目標を達成する。 数値解析により,現代のニューラルネットワークにおいて,本手法が有意な一般化を保証することが実証された。
  論文  参考訳（メタデータ） (2022-06-09T08:59:46Z)
• A unified stochastic approximation framework for learning in games [82.74514886461257]
  ゲームにおける学習の長期的挙動(連続的・有限的)を解析するためのフレキシブルな近似フレームワークを開発する。 提案する分析テンプレートには,勾配に基づく手法,有限ゲームでの学習のための指数的/乗算的重み付け,楽観的および帯域的変異など,幅広い一般的な学習アルゴリズムが組み込まれている。
  論文  参考訳（メタデータ） (2022-06-08T14:30:38Z)
• A Unified Analysis of Dynamic Interactive Learning [5.474944738795308]
  Emamjomeh-Zadeh氏らによる以前の研究は、非静的なユーザの好みをモデル化する手段として、インタラクティブな学習のダイナミクスを導入しました。 私たちは、[Emamjomeh-Zadeh et al., 2020]で分析されたモデルの両方をキャプチャするフレームワークを提供します。 また,学習者が各ラウンドのフィードバックに従う,効率的なアルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2022-04-14T16:03:37Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
  本稿では,データ駆動型汎用全深度変動正規化器について紹介する。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 我々は多数の画像処理タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T21:54:15Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。