論文の概要: When Does Confidence-Based Cascade Deferral Suffice?

• arxiv url: http://arxiv.org/abs/2307.02764v2
• Date: Tue, 23 Jan 2024 16:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 19:31:23.252717
• Title: When Does Confidence-Based Cascade Deferral Suffice?
• Title（参考訳）: 信頼に基づくカスケードデフェデレーションはいつ有効か?
• Authors: Wittawat Jitkrittum, Neha Gupta, Aditya Krishna Menon, Harikrishna Narasimhan, Ankit Singh Rawat, Sanjiv Kumar
• Abstract要約: カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
• 参考スコア（独自算出の注目度）: 69.28314307469381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cascades are a classical strategy to enable inference cost to vary adaptively across samples, wherein a sequence of classifiers are invoked in turn. A deferral rule determines whether to invoke the next classifier in the sequence, or to terminate prediction. One simple deferral rule employs the confidence of the current classifier, e.g., based on the maximum predicted softmax probability. Despite being oblivious to the structure of the cascade -- e.g., not modelling the errors of downstream models -- such confidence-based deferral often works remarkably well in practice. In this paper, we seek to better understand the conditions under which confidence-based deferral may fail, and when alternate deferral strategies can perform better. We first present a theoretical characterisation of the optimal deferral rule, which precisely characterises settings under which confidence-based deferral may suffer. We then study post-hoc deferral mechanisms, and demonstrate they can significantly improve upon confidence-based deferral in settings where (i) downstream models are specialists that only work well on a subset of inputs, (ii) samples are subject to label noise, and (iii) there is distribution shift between the train and test set.
• Abstract（参考訳）: カスケードは、一連の分類器が順番に呼び出されるサンプル間で、推論コストを適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 1つの単純なdeferral ruleは、例えば最大予測ソフトマックス確率に基づいて、現在の分類器の信頼性を利用する。 カスケードの構造(例えば、下流モデルのエラーをモデル化しない)に従順であるにもかかわらず、このような信頼に基づく推論は、実際には非常にうまく機能する。 本稿では,信頼度に基づく推論が失敗する条件と,代替的推論戦略がうまく機能する場合の状況についてより深く理解することを目指す。 まず、信頼に基づく推論が苦しむ可能性のある設定を正確に特徴づける最適deferralルールの理論的特徴付けを示す。 次に, ポストホック・デフェラルのメカニズムについて検討し, 設定における信頼度に基づくデフェラルの大幅な改善を実証する。 (i)下流モデルは入力のサブセットでのみうまく機能する専門家である。 (ii)サンプルはラベルノイズを受けており、 (iii)列車と試験台の間には分布シフトがある。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
  実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。 我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
  論文  参考訳（メタデータ） (2022-05-28T02:59:05Z)
• Multi-label Chaining with Imprecise Probabilities [0.0]
  本稿では,古典的マルチラベル連鎖法を拡張し,不正確な確率推定を行うための2つの戦略を提案する。 このような推定に利用できる主な理由は、(1)連鎖において高い不確実性が検出された場合に慎重な予測を行うこと、(2)連鎖の初期決定におけるバイアスを回避し、より正確な予測を行うことである。 両手法の信頼性を検証したラベルの欠落に関する実験結果から,精度の高いモデルが故障した場合の予測が困難である事例に対して,本手法が関連する注意を喚起することを示す。
  論文  参考訳（メタデータ） (2021-07-15T16:43:31Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
  チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。 二項分類設定におけるチェック損失の類似について考察する。 我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
  論文  参考訳（メタデータ） (2021-02-09T07:07:42Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。