Fugu-MT 論文翻訳(概要): Sample-Efficient Agnostic Boosting

論文の概要: Sample-Efficient Agnostic Boosting

arxiv url: http://arxiv.org/abs/2410.23632v1
Date: Thu, 31 Oct 2024 04:50:29 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-01 17:02:38.571199
Title: Sample-Efficient Agnostic Boosting
Title（参考訳）: サンプル効率の良いAgnostic Boosting
Authors: Udaya Ghai, Karan Singh,
Abstract要約: 経験的リスク最小化(Empirical Risk Minimization, ERM)は、既知のすべてのブースティングアルゴリズムよりも4次的に標本効率が高いという、不可知的なブースティング手法を超越している。アルゴリズムの重要な特徴は、一様収束引数のブラックボックスアプリケーションで得られるものよりも厳密な一般化誤差を保証しつつ、複数ラウンドのブースティングのサンプルを再利用する能力を活用することである。
参考スコア（独自算出の注目度）: 19.15484761265653
License:
Abstract: The theory of boosting provides a computational framework for aggregating approximate weak learning algorithms, which perform marginally better than a random predictor, into an accurate strong learner. In the realizable case, the success of the boosting approach is underscored by a remarkable fact that the resultant sample complexity matches that of a computationally demanding alternative, namely Empirical Risk Minimization (ERM). This in particular implies that the realizable boosting methodology has the potential to offer computational relief without compromising on sample efficiency. Despite recent progress, in agnostic boosting, where assumptions on the conditional distribution of labels given feature descriptions are absent, ERM outstrips the agnostic boosting methodology in being quadratically more sample efficient than all known agnostic boosting algorithms. In this paper, we make progress on closing this gap, and give a substantially more sample efficient agnostic boosting algorithm than those known, without compromising on the computational (or oracle) complexity. A key feature of our algorithm is that it leverages the ability to reuse samples across multiple rounds of boosting, while guaranteeing a generalization error strictly better than those obtained by blackbox applications of uniform convergence arguments. We also apply our approach to other previously studied learning problems, including boosting for reinforcement learning, and demonstrate improved results.
Abstract（参考訳）: ブースティングの理論は、ランダムな予測器よりも極端に優れた近似弱学習アルゴリズムを正確な強学習者に集約するための計算フレームワークを提供する。実現可能な場合、ブースティングアプローチの成功は、結果として得られるサンプルの複雑さが計算的に要求される代替案、すなわち経験的リスク最小化(Empirical Risk Minimization、ERM)のそれと一致するという驚くべき事実によって裏付けられる。これは特に、実現可能なブースティング手法が、サンプル効率を損なうことなく、計算的救済を提供する可能性を持っていることを示唆している。近年の進歩にもかかわらず、ラベルの条件分布を前提とした特徴記述の欠如を前提として、ERMは、既知のすべての非依存的ブースティングアルゴリズムよりも2次的に標本効率が高いという、非依存的ブースティング手法を超越している。本稿では, このギャップを埋めることを進め, 計算(あるいはオラクル)の複雑性を損なうことなく, 既知のものよりもはるかに効率的な探索アルゴリズムを提案する。アルゴリズムの重要な特徴は、一様収束引数のブラックボックスアプリケーションで得られるものよりも厳密な一般化誤差を保証しつつ、複数ラウンドのブースティングのサンプルを再利用する能力を活用することである。また, 強化学習の促進など, これまで研究されてきた他の学習問題にもアプローチを適用し, 改善結果を実証した。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
On Policy Evaluation Algorithms in Distributional Reinforcement Learning [0.0]
分散強化学習(DRL)による政策評価問題における未知の回帰分布を効率的に近似する新しいアルゴリズムのクラスを導入する。提案したアルゴリズムの単純な例では、ワッサーシュタインとコルモゴロフ-スミルノフ距離の両方において誤差境界を証明する。確率密度関数を持つ戻り分布の場合、アルゴリズムはこれらの密度を近似し、誤差境界は上限ノルム内で与えられる。
論文参考訳（メタデータ） (2024-07-19T10:06:01Z)
When Analytic Calculus Cracks AdaBoost Code [0.30693357740321775]
本研究では,Scikit-Lernで実装されたAdaBoostプロシージャを (2クラス) 解析する。 AdaBoostは名前のみのアルゴリズムであり、結果の弱い分類器の組み合わせは真理表を使って明示的に計算できる。我々は,この式がリスクの最小点を与えていないことを観察し,最小点を求めるシステムを提供し,Freund と Schapire が記述したアルゴリズムを実装していないことを確かめる。
論文参考訳（メタデータ） (2023-08-02T10:37:25Z)
Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文参考訳（メタデータ） (2023-07-08T15:41:48Z)
ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文参考訳（メタデータ） (2022-09-04T12:49:20Z)
A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-08-22T16:00:45Z)
Improved Algorithms for Agnostic Pool-based Active Classification [20.12178157010804]
プールに依存しない環境でのバイナリ分類のためのアクティブラーニングを検討する。我々のアルゴリズムは、画像分類データセットにおけるアートアクティブな学習アルゴリズムの状況よりも優れている。
論文参考訳（メタデータ） (2021-05-13T18:24:30Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)
Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping [29.485528641599018]
本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
論文参考訳（メタデータ） (2020-04-01T00:39:24Z)
On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。