論文の概要: Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles

• arxiv url: http://arxiv.org/abs/2210.16955v1
• Date: Sun, 30 Oct 2022 21:27:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:58:26.383914
• Title: Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles
• Title（参考訳）: 複数の専門家に推論する学習:一貫性のあるサーロゲート損失、信頼度校正、共形アンサンブル
• Authors: Rajeev Verma, Daniel Barrej\'on, Eric Nalisnick
• Abstract要約: 本研究は,L2D(L2D)を複数の専門家に委譲する学習の統計的特性について考察する。 我々は、一貫したサロゲート損失、信頼性校正、および専門家の原則的なアンサンブルを導出するオープンな問題に対処する。
• 参考スコア（独自算出の注目度）: 0.966840768820136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the statistical properties of learning to defer (L2D) to multiple experts. In particular, we address the open problems of deriving a consistent surrogate loss, confidence calibration, and principled ensembling of experts. Firstly, we derive two consistent surrogates -- one based on a softmax parameterization, the other on a one-vs-all (OvA) parameterization -- that are analogous to the single expert losses proposed by Mozannar and Sontag (2020) and Verma and Nalisnick (2022), respectively. We then study the frameworks' ability to estimate P( m_j = y | x ), the probability that the jth expert will correctly predict the label for x. Theory shows the softmax-based loss causes mis-calibration to propagate between the estimates while the OvA-based loss does not (though in practice, we find there are trade offs). Lastly, we propose a conformal inference technique that chooses a subset of experts to query when the system defers. We perform empirical validation on tasks for galaxy, skin lesion, and hate speech classification.
• Abstract（参考訳）: 複数の専門家にL2Dを延期する学習の統計的特性について検討した。 特に,一貫性のあるサーロゲート損失,信頼度校正,原則に基づく専門家のセンシングを導出するというオープンな問題に対処する。 1つはソフトマックスパラメタライゼーションに基づく一貫した2つのサロゲートであり、もう1つは1-vs-all(OvA)パラメタライゼーションに基づくもので、それぞれMozannarとSontag(2020)とVermaとNalisnick(2022)によって提案された1つの専門家損失に類似している。 次に、フレームワークのp(m_j = y | x)を推定する能力、すなわち、jth専門家がxのラベルを正確に予測する確率について検討する。 理論では、softmaxベースの損失は見積もりの間に不均衡を引き起こすが、ovaベースの損失はそうではない(実際にはトレードオフがある)。 最後に,システムフェール時の問合せに専門家のサブセットを選択する共形推論手法を提案する。 我々は銀河、皮膚病変、ヘイトスピーチ分類のタスクに対して経験的検証を行う。

関連論文リスト

• Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
  視覚言語AIシステムに特有の不確実性の分類法を提案する。 また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
  論文  参考訳（メタデータ） (2024-07-02T04:23:54Z)
• Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts [78.3687645289918]
  我々は,シグモイドゲーティング関数が,専門家推定の統計的タスクにおいて,ソフトマックスゲーティングよりも高いサンプル効率を享受できることを示した。 ReLU や GELU のようなよく使われる活性化型フィードフォワードネットワークとして定式化された専門家は,シグモイドゲーティングの下でより速い収束率を享受できる。
  論文  参考訳（メタデータ） (2024-05-22T21:12:34Z)
• Regression with Multi-Expert Deferral [30.389055604165222]
  複数の専門家で予測を遅延させる学習は、学習者が複数の専門家に予測を遅延させることを選択できるフレームワークである。 本稿では、複数の専門家に予測を延期することを含む、遅延を伴う新しい回帰の枠組みを提案する。 両シナリオに新たなサロゲート損失関数を導入し,これらが$H$一貫性境界でサポートされていることを証明した。
  論文  参考訳（メタデータ） (2024-03-28T15:26:38Z)
• In Defense of Softmax Parametrization for Calibrated and Consistent Learning to Defer [27.025808709031864]
  ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。 従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。 統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
  論文  参考訳（メタデータ） (2023-11-02T09:15:52Z)
• Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms [30.389055604165222]
  マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。 この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。 我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
  論文  参考訳（メタデータ） (2023-10-23T10:16:27Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
  我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
  論文  参考訳（メタデータ） (2022-10-16T22:25:27Z)
• Trustworthy Long-Tailed Classification [41.45744960383575]
  本稿では,分類と不確実性評価を共同で行うために,Trustworthy Long-tailed Classification (TLC)法を提案する。 我々のTLCは、各専門家のエビデンスに基づく不確実性(EvU)とエビデンスを取得し、デプスター・シェーファー・エビデンス理論(DST)の下でこれらの不確実性とエビデンスを組み合わせる。 実験の結果,提案したTLCは最先端の手法よりも優れており,信頼性の高い不確実性に優れていた。
  論文  参考訳（メタデータ） (2021-11-17T10:52:36Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。