論文の概要: The Many Faces of Optimal Weak-to-Strong Learning

• arxiv url: http://arxiv.org/abs/2408.17148v1
• Date: Fri, 30 Aug 2024 09:38:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 15:48:34.364266
• Title: The Many Faces of Optimal Weak-to-Strong Learning
• Title（参考訳）: 最適Weak-to-Strong学習の多面性
• Authors: Mikael Møller Høgsgaard, Kasper Green Larsen, Markus Engelund Mathiasen,
• Abstract要約: 提案手法は, サンプルの複雑さを証明し得る, 驚くほど単純なブースティングアルゴリズムである。 我々のパイロット実験研究は、我々の新しいアルゴリズムが大規模なデータセットで以前のアルゴリズムより優れていることを示唆している。
• 参考スコア（独自算出の注目度）: 10.985323882432086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Boosting is an extremely successful idea, allowing one to combine multiple low accuracy classifiers into a much more accurate voting classifier. In this work, we present a new and surprisingly simple Boosting algorithm that obtains a provably optimal sample complexity. Sample optimal Boosting algorithms have only recently been developed, and our new algorithm has the fastest runtime among all such algorithms and is the simplest to describe: Partition your training data into 5 disjoint pieces of equal size, run AdaBoost on each, and combine the resulting classifiers via a majority vote. In addition to this theoretical contribution, we also perform the first empirical comparison of the proposed sample optimal Boosting algorithms. Our pilot empirical study suggests that our new algorithm might outperform previous algorithms on large data sets.
• Abstract（参考訳）: ブースティングは極めて成功したアイデアであり、複数の低い精度の分類器をはるかに正確な投票分類器に組み合わせることができる。 そこで本研究では,サンプルの複雑性を最適に向上する,新しい,驚くほど単純なブースティングアルゴリズムを提案する。 サンプル最適ブースティングアルゴリズムは、最近開発されたばかりであり、我々の新しいアルゴリズムは、これらのアルゴリズムの中で最速のランタイムを持ち、最も簡単に説明できる: トレーニングデータを5つの不連続なサイズに分割し、それぞれのAdaBoostを実行し、その結果の分類器を多数決で組み合わせる。 この理論的な貢献に加えて、提案したサンプル最適ブースティングアルゴリズムの最初の実験的な比較を行う。 我々のパイロット実験研究は、我々の新しいアルゴリズムが大規模なデータセットで以前のアルゴリズムより優れていることを示唆している。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• AdaBoost is not an Optimal Weak to Strong Learner [11.003568749905359]
  AdaBoostのサンプルの複雑さや他の古典的なバリエーションは、強学習者の所望の精度において、少なくとも1つの対数係数によって最適以下であることが示される。
  論文  参考訳（メタデータ） (2023-01-27T07:37:51Z)
• Optimal Weak to Strong Learning [12.999258817707412]
  本稿では,弱い学習者から強力な学習者を構築するアルゴリズムを提案する。 サンプルの複雑さの低い境界は、我々の新しいアルゴリズムが最小限のトレーニングデータを使用し、したがって最適であることを示している。
  論文  参考訳（メタデータ） (2022-06-03T13:37:12Z)
• A Fully Single Loop Algorithm for Bilevel Optimization without Hessian Inverse [121.54116938140754]
  両レベル最適化問題に対して,Hessian 逆フリーな完全単一ループアルゴリズムを提案する。 我々のアルゴリズムは$O(epsilon-2)$と収束することを示す。
  論文  参考訳（メタデータ） (2021-12-09T02:27:52Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Quantum Inspired Adaptive Boosting [0.0]
  量子アンサンブル法は古典的アルゴリズムに勝らないことを示す。 本稿では,量子アンサンブル法と適応的なブースティングを組み合わせた手法を提案する。 アルゴリズムはテストされ、公開データセット上のAdaBoostアルゴリズムに匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T16:33:14Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling [0.0]
  MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。 様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
  論文  参考訳（メタデータ） (2020-11-14T04:26:13Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。