論文の概要: Omnipredictors for Constrained Optimization

• arxiv url: http://arxiv.org/abs/2209.07463v2
• Date: Thu, 16 Feb 2023 18:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-19 11:11:16.527466
• Title: Omnipredictors for Constrained Optimization
• Title（参考訳）: 制約付き最適化のためのOmnipredictors
• Authors: Lunjia Hu, Inbal Livni-Navon, Omer Reingold, Chutong Yang
• Abstract要約: 本稿では,制約付き最適化問題に対するオムニプレクタの獲得方法を示す。 また、使用する制約がいわゆる群フェアネスの概念である場合に、この概念がもたらす意味についても検討する。
• 参考スコア（独自算出の注目度）: 5.969079530101132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The notion of omnipredictors (Gopalan, Kalai, Reingold, Sharan and Wieder ITCS 2021), suggested a new paradigm for loss minimization. Rather than learning a predictor based on a known loss function, omnipredictors can easily be post-processed to minimize any one of a rich family of loss functions compared with the loss of hypotheses in a class $\mathcal C$. It has been shown that such omnipredictors exist and are implied (for all convex and Lipschitz loss functions) by the notion of multicalibration from the algorithmic fairness literature. In this paper, we introduce omnipredictors for constrained optimization and study their complexity and implications. The notion that we introduce allows the learner to be unaware of the loss function that will be later assigned as well as the constraints that will be later imposed, as long as the subpopulations that are used to define these constraints are known. We show how to obtain omnipredictors for constrained optimization problems, relying on appropriate variants of multicalibration. We also investigate the implications of this notion when the constraints used are so-called group fairness notions.
• Abstract（参考訳）: オムニプレクタ(Gopalan, Kalai, Reingold, Sharan, Wieder ITCS 2021)の概念は、損失最小化のための新しいパラダイムを提唱した。 既知の損失関数に基づいて予測器を学習する代わりに、Omnipredictorは、クラス$\mathcal C$における仮説の損失と比較して、損失関数のリッチなファミリーのいずれかを最小化するために、後処理が簡単である。 そのような全方位予測子は、アルゴリズム的公正文学からの多重校正の概念により(すべての凸関数とリプシッツ損失関数に対して)存在することが示されている。 本稿では,制約付き最適化のためのomnipredictorを導入し,その複雑性と影響について検討する。 私たちが導入する概念により、学習者は、後に割り当てられる損失関数と、これらの制約を定義するために使用されるサブポピュレーションが分かっている限り、後から課される制約を知らないことができる。 本稿では,制約付き最適化問題に対するオムニプレクタの獲得方法を示す。 また、これを用いた制約が群フェアネス概念と呼ばれる場合、この概念の意味についても検討する。

関連論文リスト

• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
  任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。 特に、文献でよく見られるように、損失関数の有界性を必要としない。 回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
  論文  参考訳（メタデータ） (2025-03-03T23:34:12Z)
• MaxSup: Overcoming Representation Collapse in Label Smoothing [55.067663157622384]
  ラベル平滑化(LS)は、ニューラルネットワークの予測における過信を抑制し、一般化を促進するために広く採用されている。 以前の研究では、LSは特徴表現を過剰に厳密なクラスタに強制し、クラス内の区別を損なうことが示されている。 我々は、意図した正規化を正しい予測と誤予測の両方に均一に適用するMax Suppression(MaxSup)を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:10:34Z)
• Sample Efficient Omniprediction and Downstream Swap Regret for Non-Linear Losses [4.509643050721454]
  「決定スワップ後悔」は、下流スワップ後悔と全滅の予測を一般化する。 また、オンライン逆数設定において、任意の多次元リプシッツ損失関数に対してそれを得るアルゴリズムも提供する。
  論文  参考訳（メタデータ） (2025-02-18T06:01:52Z)
• Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
  我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。 我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。 我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
  論文  参考訳（メタデータ） (2024-12-11T01:38:32Z)
• Swap Agnostic Learning, or Characterizing Omniprediction via Multicalibration [6.91367883100748]
  我々は,Swap Agnostic Learningを導入し,研究する。 敵の強みにも拘わらず,あらゆる凸損失に対するスワップ・アグノスティック・ラーニングの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-02-13T22:25:53Z)
• Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
  我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
  論文  参考訳（メタデータ） (2022-10-16T22:25:27Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Lazy Lagrangians with Predictions for Online Learning [24.18464455081512]
  オンライン凸最適化における時間的差分制約による一般的な問題について考察する。 Follow-The-Regularized-Leaderイテレーションと予測適応動的ステップを組み合わせることで、新しい原始双対アルゴリズムを設計する。 我々の研究は、この制約されたOCO設定のためのFTRLフレームワークを拡張し、各最先端のグレディベースのソリューションより優れています。
  論文  参考訳（メタデータ） (2022-01-08T21:49:10Z)
• Omnipredictors [19.735769148626588]
  ロス最小化は機械学習において支配的なパラダイムである。 我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。 このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:28:49Z)
• Adapting to Misspecification in Contextual Bandits [82.55565343668246]
  我々は、$varepsilon$-misspecified contextual banditsに対して、新しいオラクル効率アルゴリズム群を導入する。 我々は、未知の不特定値に対して最適な$O(dsqrtT + varepsilonsqrtdT)$ regret boundを達成する最初のアルゴリズムを得る。
  論文  参考訳（メタデータ） (2021-07-12T21:30:41Z)
• Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning [50.44564503645015]
  有限エピソードマルコフ決定過程における強化学習のための改良されたギャップ依存的後悔境界を提供する。 楽観的なアルゴリズムでは,より強い後悔境界を証明し,多数のMDPに対して新たな情報理論的下限を伴う。
  論文  参考訳（メタデータ） (2021-07-02T20:36:05Z)
• Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
  ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。 主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。 このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
  論文  参考訳（メタデータ） (2021-05-08T11:43:49Z)
• PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
  非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
  論文  参考訳（メタデータ） (2020-06-12T15:55:46Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures [62.41541049302712]
  本稿では,所定の予算の失敗の関数として探索において許容されるリスクの量を制御する制御理論に基づく新しい意思決定者を提案する。 本アルゴリズムは, 種々の最適化実験において, 故障予算をより効率的に利用し, 一般に, 最先端の手法よりも, 後悔度を低くする。
  論文  参考訳（メタデータ） (2020-05-15T09:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。