論文の概要: Loss Minimization through the Lens of Outcome Indistinguishability

• arxiv url: http://arxiv.org/abs/2210.08649v1
• Date: Sun, 16 Oct 2022 22:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:20:37.600394
• Title: Loss Minimization through the Lens of Outcome Indistinguishability
• Title（参考訳）: アウトカム不明瞭性のレンズによる損失最小化
• Authors: Parikshit Gopalan, Lunjia Hu, Michael P. Kim, Omer Reingold, Udi Wieder
• Abstract要約: 我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
• 参考スコア（独自算出の注目度）: 11.709566373491619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new perspective on loss minimization and the recent notion of Omniprediction through the lens of Outcome Indistingusihability. For a collection of losses and hypothesis class, omniprediction requires that a predictor provide a loss-minimization guarantee simultaneously for every loss in the collection compared to the best (loss-specific) hypothesis in the class. We present a generic template to learn predictors satisfying a guarantee we call Loss Outcome Indistinguishability. For a set of statistical tests--based on a collection of losses and hypothesis class--a predictor is Loss OI if it is indistinguishable (according to the tests) from Nature's true probabilities over outcomes. By design, Loss OI implies omniprediction in a direct and intuitive manner. We simplify Loss OI further, decomposing it into a calibration condition plus multiaccuracy for a class of functions derived from the loss and hypothesis classes. By careful analysis of this class, we give efficient constructions of omnipredictors for interesting classes of loss functions, including non-convex losses. This decomposition highlights the utility of a new multi-group fairness notion that we call calibrated multiaccuracy, which lies in between multiaccuracy and multicalibration. We show that calibrated multiaccuracy implies Loss OI for the important set of convex losses arising from Generalized Linear Models, without requiring full multicalibration. For such losses, we show an equivalence between our computational notion of Loss OI and a geometric notion of indistinguishability, formulated as Pythagorean theorems in the associated Bregman divergence. We give an efficient algorithm for calibrated multiaccuracy with computational complexity comparable to that of multiaccuracy. In all, calibrated multiaccuracy offers an interesting tradeoff point between efficiency and generality in the omniprediction landscape.
• Abstract（参考訳）: 本稿では,損失最小化と近年のOmnipredictionの概念を,アウトカム・インディペンシビリティ(Outcome Indistingusiability)のレンズを通して紹介する。 損失と仮説クラスの集合に対して、全予測は、クラス内の最良の(損失固有の)仮説と比較して、コレクションの損失毎に損失最小化の保証を同時に提供することを要求する。 我々は,損失結果の不一致と呼ぶ保証を満たす予測子を学習するための汎用テンプレートを提案する。 損失と仮説の階級の集合に基づく統計テストのセットでは、予測子は、結果に対する自然の真の確率から(テストによると)区別できないならばロス OI である。 設計上、損失 oi は直観的かつ直感的な方法で全述法を意味する。 損失 oi をさらに単純化し、損失クラスと仮説クラスから派生した関数のクラスに対して、キャリブレーション条件と多重精度に分解する。 このクラスを慎重に解析することにより、非凸損失を含む興味深い損失関数のクラスに対する全予測器の効率的な構成を与える。 この分解は、多重精度と多重校正の間にある校正多重精度と呼ばれる新しい多群フェアネスの概念の有用性を強調している。 一般化線形モデルから生じる重要な凸損失の集合に対して、校正多重精度は、完全多重校正を必要とせず、損失 OI を示唆することを示す。 そのような損失に対して、ロス OI の計算的概念と、関連するブレグマン発散におけるピタゴラスの定理として定式化された幾何学的概念との等価性を示す。 本研究では,多精度に匹敵する計算複雑性を持つ多精度校正アルゴリズムを提案する。 全体として、キャリブレーションされた多重精度は、全方位の風景における効率性と一般性の間の興味深いトレードオフ点を提供する。

関連論文リスト

• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
  経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-02T02:40:42Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Omnipredictors for Constrained Optimization [5.969079530101132]
  本稿では,制約付き最適化問題に対するオムニプレクタの獲得方法を示す。 また、使用する制約がいわゆる群フェアネスの概念である場合に、この概念がもたらす意味についても検討する。
  論文  参考訳（メタデータ） (2022-09-15T17:04:49Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Omnipredictors [19.735769148626588]
  ロス最小化は機械学習において支配的なパラダイムである。 我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。 このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:28:49Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
  線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。 また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-28T02:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。