論文の概要: GBM-based Bregman Proximal Algorithms for Constrained Learning
- arxiv url: http://arxiv.org/abs/2308.10767v1
- Date: Mon, 21 Aug 2023 14:56:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 13:10:57.418573
- Title: GBM-based Bregman Proximal Algorithms for Constrained Learning
- Title（参考訳）: 制約学習のためのGBMに基づくブレグマン近似アルゴリズム
- Authors: Zhenwei Lin, Qi Deng
- Abstract要約: 我々はBregman近位アルゴリズムのフレームワーク内で制約付き学習タスクにGBMを適用する。
本稿では,学習対象関数が凸である場合に,大域的最適性を保証する新しいブレグマン法を提案する。
本稿では,Bregmanアルゴリズムフレームワークの有効性を示すための実験的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 3.667453772837954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the complexity of learning tasks surges, modern machine learning
encounters a new constrained learning paradigm characterized by more intricate
and data-driven function constraints. Prominent applications include
Neyman-Pearson classification (NPC) and fairness classification, which entail
specific risk constraints that render standard projection-based training
algorithms unsuitable. Gradient boosting machines (GBMs) are among the most
popular algorithms for supervised learning; however, they are generally limited
to unconstrained settings. In this paper, we adapt the GBM for constrained
learning tasks within the framework of Bregman proximal algorithms. We
introduce a new Bregman primal-dual method with a global optimality guarantee
when the learning objective and constraint functions are convex. In cases of
nonconvex functions, we demonstrate how our algorithm remains effective under a
Bregman proximal point framework. Distinct from existing constrained learning
algorithms, ours possess a unique advantage in their ability to seamlessly
integrate with publicly available GBM implementations such as XGBoost (Chen and
Guestrin, 2016) and LightGBM (Ke et al., 2017), exclusively relying on their
public interfaces. We provide substantial experimental evidence to showcase the
effectiveness of the Bregman algorithm framework. While our primary focus is on
NPC and fairness ML, our framework holds significant potential for a broader
range of constrained learning applications. The source code is currently freely
available at
https://github.com/zhenweilin/ConstrainedGBM}{https://github.com/zhenweilin/ConstrainedGBM.
- Abstract（参考訳）: 学習タスクの複雑さが高まるにつれて、現代の機械学習はより複雑でデータ駆動の関数制約を特徴とする新しい制約付き学習パラダイムに遭遇する。
代表的な応用としては、ナイマン・ピアソン分類(NPC)やフェアネス分類があり、標準的なプロジェクションベースのトレーニングアルゴリズムが適さない特定のリスク制約を必要とする。
グラデーションブースティングマシン(gbms)は教師あり学習のための最も一般的なアルゴリズムであるが、一般的には訓練されていない設定に限られている。
本稿では,Bregman近位アルゴリズムのフレームワーク内での制約付き学習タスクに対して,GBMを適用した。
本稿では,学習目標と制約関数が凸である場合に,大域的最適性を保証するBregman法を提案する。
非凸関数の場合、Bregman近位点の枠組みの下でアルゴリズムがどのように有効かを示す。
既存の制約付き学習アルゴリズムとは異なり、当社はxgboost (chen and guestrin, 2016) や lightgbm (ke et al., 2017) といった一般公開されたgbm実装とシームレスに統合する能力において、独自の利点を持っています。
bregmanアルゴリズムフレームワークの有効性を示す実験的な証拠を提供する。
私たちの主な焦点はnpcとfairness mlですが、フレームワークは幅広い制限付き学習アプリケーションに対して大きな可能性を秘めています。
ソースコードは現在、https://github.com/zhenweilin/ConstrainedGBM}{https://github.com/zhenweilin/ConstrainedGBMで無料で入手できる。
関連論文リスト
- Learning Arithmetic Formulas in the Presence of Noise: A General
Framework and Applications to Unsupervised Learning [4.10375234787249]
教師なし学習問題に対する効率的なアルゴリズム設計のための枠組みを提案する。
我々のフレームワークは,雑音の存在下で演算回路を学習するメタアルゴリズムに基づいている。
論文 参考訳（メタデータ） (2023-11-13T12:26:25Z) - Regularization and Optimal Multiclass Learning [10.168670899305232]
この研究は、経験的リスク最小化が失敗する最も単純な設定における正規化の役割を特徴づけることである。
ワンインクルージョングラフ(OIG)を用いて、試行錯誤アルゴリズムの原理に相応しい最適な学習アルゴリズムを示す。
論文 参考訳（メタデータ） (2023-09-24T16:49:55Z) - An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model
And Gaussian Mixture Embedding For Neural Network [2.261786383673667]
新しいアルゴリズムは、古典的な期待最大化(EM)アルゴリズムよりも頑丈さと単純さをもたらす。
また、精度も向上し、学習に1回しかかからない。
論文 参考訳（メタデータ） (2023-08-18T10:17:59Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳（メタデータ） (2022-11-14T12:32:18Z) - Stochastic Differentially Private and Fair Learning [7.971065005161566]
我々は、収束することが保証されるフェアラーニングのための最初の微分プライベートアルゴリズムを提供する。
われわれのフレームワークは、人口格差や均等化オッズなど、さまざまな公平さを許容できるほど柔軟である。
本アルゴリズムは,複数の(非バイナリ)機密属性を持つ非バイナリ分類タスクに適用可能である。
論文 参考訳（メタデータ） (2022-10-17T06:54:57Z) - Practical, Provably-Correct Interactive Learning in the Realizable
Setting: The Power of True Believers [12.09273192079783]
我々は、対話型学習を実現可能な設定で検討し、最適な腕の識別からアクティブな分類に至るまでの問題に対処する一般的な枠組みを開発する。
我々は,最小限の値と対数係数とを一致させる,計算効率のよい新しいアルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-11-09T02:33:36Z) - Adapting to Misspecification in Contextual Bandits [82.55565343668246]
我々は、$varepsilon$-misspecified contextual banditsに対して、新しいオラクル効率アルゴリズム群を導入する。
我々は、未知の不特定値に対して最適な$O(dsqrtT + varepsilonsqrtdT)$ regret boundを達成する最初のアルゴリズムを得る。
論文 参考訳（メタデータ） (2021-07-12T21:30:41Z) - Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。
本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文 参考訳（メタデータ） (2021-06-02T22:03:36Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Provably Efficient Reward-Agnostic Navigation with Linear Value
Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。
そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-08-18T04:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。