論文の概要: Omnipredictors
- arxiv url: http://arxiv.org/abs/2109.05389v1
- Date: Sat, 11 Sep 2021 23:28:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 06:58:58.939243
- Title: Omnipredictors
- Title（参考訳）: オムニプロディクター
- Authors: Parikshit Gopalan, Adam Tauman Kalai, Omer Reingold, Vatsal Sharan,
Udi Wieder
- Abstract要約: ロス最小化は機械学習において支配的なパラダイムである。
我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。
このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
- 参考スコア（独自算出の注目度）: 19.735769148626588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Loss minimization is a dominant paradigm in machine learning, where a
predictor is trained to minimize some loss function that depends on an
uncertain event (e.g., "will it rain tomorrow?''). Different loss functions
imply different learning algorithms and, at times, very different predictors.
While widespread and appealing, a clear drawback of this approach is that the
loss function may not be known at the time of learning, requiring the algorithm
to use a best-guess loss function. We suggest a rigorous new paradigm for loss
minimization in machine learning where the loss function can be ignored at the
time of learning and only be taken into account when deciding an action.
We introduce the notion of an (${\mathcal{L}},\mathcal{C}$)-omnipredictor,
which could be used to optimize any loss in a family ${\mathcal{L}}$. Once the
loss function is set, the outputs of the predictor can be post-processed (a
simple univariate data-independent transformation of individual predictions) to
do well compared with any hypothesis from the class $\mathcal{C}$. The post
processing is essentially what one would perform if the outputs of the
predictor were true probabilities of the uncertain events. In a sense,
omnipredictors extract all the predictive power from the class $\mathcal{C}$,
irrespective of the loss function in $\mathcal{L}$.
We show that such "loss-oblivious'' learning is feasible through a connection
to multicalibration, a notion introduced in the context of algorithmic
fairness. In addition, we show how multicalibration can be viewed as a solution
concept for agnostic boosting, shedding new light on past results. Finally, we
transfer our insights back to the context of algorithmic fairness by providing
omnipredictors for multi-group loss minimization.
- Abstract（参考訳）: 損失最小化は機械学習において支配的なパラダイムであり、予測者は不確定な事象(例えば「明日雨が降る?」)に依存する損失関数を最小化するように訓練される。
異なる損失関数は、異なる学習アルゴリズムと、時に非常に異なる予測器を暗示する。
広く、魅力的であるが、このアプローチの明らかな欠点は、学習時に損失関数が知られておらず、アルゴリズムが最良損失関数を使用する必要があることである。
機械学習における損失最小化のための厳密な新しいパラダイムを提案する。このパラダイムでは、学習時に損失関数を無視でき、アクションを決定する際にのみ考慮される。
我々は、({\mathcal{L}},\mathcal{C}$)-omnipredictorの概念を導入します。
損失関数が設定されると、予測器の出力は後処理(個々の予測の単変量データ非依存変換)され、クラス $\mathcal{C}$ の任意の仮説とよく比較できる。
ポスト処理は、基本的に、予測子の出力が不確かな事象の真の確率である場合の処理である。
ある意味で、omnipredictorは$\mathcal{l}$の損失関数に関係なく、$\mathcal{c}$のクラスからすべての予測力を抽出する。
アルゴリズム的公平性という文脈で導入された概念であるマルチカリブレーション(multicalibration)との関連により,このような「失われた聖書的」学習が実現可能であることを示す。
さらに, マルチキャリブレーションは, 過去の結果に新たな光を放ちながら, 不可視的ブースティングのソリューション概念として捉えることができることを示す。
最後に,多群損失最小化のための全予測器を提供することにより,アルゴリズムフェアネスの文脈に洞察を戻す。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - Omnipredictors for Regression and the Approximate Rank of Convex
Functions [7.549720420141907]
クラス $mathcal L$ の損失関数とクラス $mathcal C$ の損失予測器は、$mathcal L$ の損失毎に $mathcal C$ の最良の仮説よりも予想される損失が少ない予測器である。
論文 参考訳（メタデータ） (2024-01-26T04:29:53Z) - Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳（メタデータ） (2023-03-17T12:52:06Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳（メタデータ） (2022-10-16T22:25:27Z) - Omnipredictors for Constrained Optimization [5.969079530101132]
本稿では,制約付き最適化問題に対するオムニプレクタの獲得方法を示す。
また、使用する制約がいわゆる群フェアネスの概念である場合に、この概念がもたらす意味についても検討する。
論文 参考訳（メタデータ） (2022-09-15T17:04:49Z) - Neural Greedy Pursuit for Feature Selection [72.4121881681861]
我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。
ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
論文 参考訳（メタデータ） (2022-07-19T16:39:16Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳（メタデータ） (2022-06-10T10:17:59Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Randomized Exploration for Reinforcement Learning with General Value
Function Approximation [122.70803181751135]
本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。
提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。
我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
論文 参考訳（メタデータ） (2021-06-15T02:23:07Z) - Remember What You Want to Forget: Algorithms for Machine Unlearning [37.656345901739506]
学習モデルからデータポイントを忘れる問題について検討する。
最大$O(n/d1/4)のサンプルを削除できるアンラーニングアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-03-04T19:28:57Z) - Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
論文 参考訳（メタデータ） (2020-02-10T05:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。