論文の概要: Thresholds of descending algorithms in inference problems
- arxiv url: http://arxiv.org/abs/2001.00479v2
- Date: Sat, 4 Jan 2020 08:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 04:03:19.833848
- Title: Thresholds of descending algorithms in inference problems
- Title(参考訳): 推論問題における下降アルゴリズムの閾値
- Authors: Stefano Sarao Mannelli and Lenka Zdeborova
- Abstract要約: 統計的推論問題における勾配に基づくアルゴリズムの力学解析に関する最近の研究について概説する。
これらの研究は、ガラス系物理学の手法と洞察を用いて、勾配に基づくアルゴリズムの性能を定量的かつ質的に理解する方法を示した。
- 参考スコア(独自算出の注目度): 4.594159253008448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We review recent works on analyzing the dynamics of gradient-based algorithms
in a prototypical statistical inference problem. Using methods and insights
from the physics of glassy systems, these works showed how to understand
quantitatively and qualitatively the performance of gradient-based algorithms.
Here we review the key results and their interpretation in non-technical terms
accessible to a wide audience of physicists in the context of related works.
- Abstract(参考訳): 確率論的推論問題における勾配に基づくアルゴリズムの力学解析に関する最近の研究について概説する。
これらの研究は、ガラス系物理学の手法と洞察を用いて、勾配に基づくアルゴリズムの性能を定量的かつ質的に理解する方法を示した。
ここでは、関連する研究の文脈において、物理学者の幅広い聴衆が利用できる非技術的用語による重要な結果とその解釈についてレビューする。
関連論文リスト
- Efficient Reinforcement Learning from Partial Observability [80.11643679551042]
ほとんどの実世界の強化学習アプリケーションでは、状態情報は部分的にしか観測できないため、マルコフ決定プロセスの仮定を破る。
我々は、部分的な観察から実践的な強化学習のためのコヒーレントな枠組みと抽出可能なアルゴリズムアプローチへと導く表現に基づく視点を開発する。
提案アルゴリズムは,様々なベンチマークで部分的な観察を行い,最先端の性能を超えることができることを実証的に実証した。
論文 参考訳(メタデータ) (2023-11-20T23:56:58Z) - The Galerkin method beats Graph-Based Approaches for Spectral Algorithms [3.5897534810405403]
我々は機械学習コミュニティを破り、Galerkin手法の統計的および計算的優位性を証明した。
構造化カーネルを用いて大次元の微分演算子を扱うための実装手法を導入する。
私たちは、ディープニューラルネットワークによってパラメータ化された関数など、関数の非線形空間に適用するために、私たちのアプローチ以外のコア原則を拡張します。
論文 参考訳(メタデータ) (2023-06-01T14:38:54Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - Performance Analysis of Fractional Learning Algorithms [32.21539962359158]
従来のアルゴリズムよりも格段に優越性が高いかどうかは定かでないが、その性能が広範に分析されることはなかったため神話である。
本稿では,最小平均二乗および最急降下アルゴリズムの分数変分を厳密に解析する。
学習アルゴリズムの性能に関するその起源と結果について論じ,素早い準備の整った治療法を提案する。
論文 参考訳(メタデータ) (2021-10-11T12:06:44Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Inverse Reinforcement Learning with Explicit Policy Estimates [19.159290496678004]
逆強化学習問題を解くための様々な手法が、機械学習と経済学において独立に開発された。
我々は、それらがすべて共通の形態の勾配、関連する政策と目的によって特徴づけられる最適化問題のクラスに属していることを示しています。
この最適化問題の研究から得られた知見を用いて,様々な問題シナリオを特定し,それらの問題に対する各手法の適合性について検討する。
論文 参考訳(メタデータ) (2021-03-04T07:00:58Z) - Tunable Tradeoff between Quantum and Classical Computation via
Nonunitary Zeno-like Dynamics [0.5249805590164902]
アルゴリズムは、その効率の厳密な解析的下界を導出することにより、純粋量子バージョンと同様のスケールを示す。
また、ノイズを受けるアルゴリズムの挙動を調べた結果、特定のオラクルと運用上のエラーの下では、測定に基づくアルゴリズムが標準アルゴリズムよりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-11-22T00:57:17Z) - Quantum-Inspired Algorithms from Randomized Numerical Linear Algebra [53.46106569419296]
我々は、リコメンダシステムと最小二乗回帰のためのクエリをサポートする古典的な(量子でない)動的データ構造を作成する。
これらの問題に対する以前の量子インスパイアされたアルゴリズムは、レバレッジやリッジレベレッジスコアを偽装してサンプリングしていると我々は主張する。
論文 参考訳(メタデータ) (2020-11-09T01:13:07Z) - A Brief Look at Generalization in Visual Meta-Reinforcement Learning [56.50123642237106]
メタ強化学習アルゴリズムの一般化性能を評価する。
これらのアルゴリズムは、困難なタスクで評価された場合、強いオーバーフィッティングを示すことができる。
論文 参考訳(メタデータ) (2020-06-12T15:17:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。