論文の概要: On the convergence of the MLE as an estimator of the learning rate in the Exp3 algorithm

• arxiv url: http://arxiv.org/abs/2305.06660v1
• Date: Thu, 11 May 2023 08:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 15:30:46.569664
• Title: On the convergence of the MLE as an estimator of the learning rate in the Exp3 algorithm
• Title（参考訳）: Exp3アルゴリズムにおける学習率推定器としてのMLEの収束について
• Authors: Julien Aubert (UCA), Luc Leh\'ericy (UCA), Patricia Reynaud-Bouret (UCA)
• Abstract要約: 従来のExp3アルゴリズムでは,学習速度が一定であれば,学習速度の推定は効率的ではないことを示す。 サンプルサイズで学習率が低下すると,予測誤差が減少し,場合によってはMLEの推定値が,レートで減少する確率の限界を満たすことが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When fitting the learning data of an individual to algorithm-like learning models, the observations are so dependent and non-stationary that one may wonder what the classical Maximum Likelihood Estimator (MLE) could do, even if it is the usual tool applied to experimental cognition. Our objective in this work is to show that the estimation of the learning rate cannot be efficient if the learning rate is constant in the classical Exp3 (Exponential weights for Exploration and Exploitation) algorithm. Secondly, we show that if the learning rate decreases polynomially with the sample size, then the prediction error and in some cases the estimation error of the MLE satisfy bounds in probability that decrease at a polynomial rate.
• Abstract（参考訳）: 個人の学習データをアルゴリズムライクな学習モデルに合わせると、観察は非常に依存的かつ非定常的であり、たとえそれが実験的な認知に適用される通常のツールであっても、古典的な最大様相推定器(MLE)が何をできるか疑問に思うかもしれない。 本研究の目的は,古典的Exp3(Exponential weights for Exploration and Exploitation)アルゴリズムにおいて,学習速度が一定であれば,学習速度の推定が効率的でないことを示すことである。 第二に, 学習速度がサンプルサイズと多項式的に減少すると, 予測誤差, 場合によってはmleの推定誤差が多項式率で減少する確率の境界を満たすことを示す。

関連論文リスト

• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Convergence bounds for nonlinear least squares and applications to tensor recovery [0.0]
  我々は、L2$-ノルムの重み付きモンテカルロ推定のみを計算できる場合、一般非線形部分集合である$L2$の関数を近似する問題を考える。 結果の批判的分析により、低ランクテンソルのモデル集合に対するサンプル効率の良いアルゴリズムを導出できる。
  論文  参考訳（メタデータ） (2021-08-11T14:14:02Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Learning with CVaR-based feedback under potentially heavy tails [8.572654816871873]
  条件付きリスク(CVaR)の最小化を目指す学習アルゴリズムについて検討する。 まず,重み付き確率変数に対するCVaRの汎用推定器について検討する。 次に、勾配駆動サブプロセスによって生成される候補の中から頑健に選択する新しい学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-06-03T01:08:29Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。