論文の概要: MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling

• arxiv url: http://arxiv.org/abs/2011.07218v1
• Date: Sat, 14 Nov 2020 04:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 13:20:29.972669
• Title: MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling
• Title（参考訳）: MP-Boost: 適応機能とオブザーバサンプリングによるミニパッチブースティング
• Authors: Mohammad Taha Toghani, Genevera I. Allen
• Abstract要約: MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。 様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Boosting methods are among the best general-purpose and off-the-shelf machine learning approaches, gaining widespread popularity. In this paper, we seek to develop a boosting method that yields comparable accuracy to popular AdaBoost and gradient boosting methods, yet is faster computationally and whose solution is more interpretable. We achieve this by developing MP-Boost, an algorithm loosely based on AdaBoost that learns by adaptively selecting small subsets of instances and features, or what we term minipatches (MP), at each iteration. By sequentially learning on tiny subsets of the data, our approach is computationally faster than other classic boosting algorithms. Also as it progresses, MP-Boost adaptively learns a probability distribution on the features and instances that upweight the most important features and challenging instances, hence adaptively selecting the most relevant minipatches for learning. These learned probability distributions also aid in interpretation of our method. We empirically demonstrate the interpretability, comparative accuracy, and computational time of our approach on a variety of binary classification tasks.
• Abstract（参考訳）: ブースティング手法は、最も汎用的で市販の機械学習アプローチであり、広く普及している。 本稿では,人気のあるadaboost法や勾配ブースティング法に匹敵する精度を持つブースティング法を提案するが,計算速度は速く,解の解釈も容易である。 AdaBoostをベースとしたアルゴリズムであるMP-Boostを開発し、各イテレーションでインスタンスや機能の小さなサブセットを適応的に選択することや、ミニパッチ(MP)と呼ぶものを学習する。 データの小さな部分集合を逐次学習することで、我々のアプローチは他の古典的なブースティングアルゴリズムよりも高速に計算できる。 また、MP-Boostは、最も重要な機能と挑戦的なインスタンスをアップウェイトする機能やインスタンスの確率分布を適応的に学習することで、学習に最も関連するミニパッチを適応的に選択する。 これらの学習された確率分布は、この方法の解釈にも役立つ。 我々は,様々な二分分類タスクに対するアプローチの解釈可能性,比較精度,計算時間を実証的に実証した。

関連論文リスト

• Sample-Efficient Agnostic Boosting [19.15484761265653]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、既知のすべてのブースティングアルゴリズムよりも4次的に標本効率が高いという、不可知的なブースティング手法を超越している。 アルゴリズムの重要な特徴は、一様収束引数のブラックボックスアプリケーションで得られるものよりも厳密な一般化誤差を保証しつつ、複数ラウンドのブースティングのサンプルを再利用する能力を活用することである。
  論文  参考訳（メタデータ） (2024-10-31T04:50:29Z)
• The Many Faces of Optimal Weak-to-Strong Learning [10.985323882432086]
  提案手法は, サンプルの複雑さを証明し得る, 驚くほど単純なブースティングアルゴリズムである。 我々のパイロット実験研究は、我々の新しいアルゴリズムが大規模なデータセットで以前のアルゴリズムより優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-08-30T09:38:51Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• AdaBoost is not an Optimal Weak to Strong Learner [11.003568749905359]
  AdaBoostのサンプルの複雑さや他の古典的なバリエーションは、強学習者の所望の精度において、少なくとも1つの対数係数によって最適以下であることが示される。
  論文  参考訳（メタデータ） (2023-01-27T07:37:51Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• Quantum Boosting using Domain-Partitioning Hypotheses [0.9264464791978363]
  ブースティングは、弱い学習者をPAC学習フレームワークの強力な学習者に変換するアンサンブル学習法である。 Q-RealBoostは、弱い学習者のバイアスと弱い学習者がターゲット概念クラスを学習するのに要する時間の両方の観点から、Q-AdaBoostを高速化することを示した。
  論文  参考訳（メタデータ） (2021-10-25T10:46:13Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Boosting for Online Convex Optimization [64.15578413206715]
  多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。 弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。 ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
  論文  参考訳（メタデータ） (2021-02-18T12:30:49Z)
• ADABOOK & MULTIBOOK: Adaptive Boosting with Chance Correction [3.7819322027528113]
  弱い学習者は、より説得力のある確率補正措置の軽減に精度を最適化することが可能であり、この場合ブースターは早すぎる可能性がある。 そこで本稿は, 確率補正尺度の活用の必要性を示す理論的研究を補完するものであり, 確率補正尺度の活用が向上することを示す実証的な研究である。
  論文  参考訳（メタデータ） (2020-10-11T01:17:32Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。