論文の概要: Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control

• arxiv url: http://arxiv.org/abs/2110.01052v1
• Date: Sun, 3 Oct 2021 17:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 16:01:59.282390
• Title: Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control
• Title（参考訳）: learn then test: リスク制御を達成するための予測アルゴリズムの校正
• Authors: Anastasios N. Angelopoulos and Stephen Bates and Emmanuel J. Cand\`es and Michael I. Jordan and Lihua Lei
• Abstract要約: Learn then Test (LTT)は、機械学習モデルを校正するフレームワークである。 私たちの主な洞察は、リスクコントロール問題を複数の仮説テストとして再設計することです。 我々は、コンピュータビジョンの詳細な実例を用いて、コア機械学習タスクの新しいキャリブレーション手法を提供するために、我々のフレームワークを使用します。
• 参考スコア（独自算出の注目度）: 67.52000805944924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Learn then Test (LTT), a framework for calibrating machine learning models so that their predictions satisfy explicit, finite-sample statistical guarantees regardless of the underlying model and (unknown) data-generating distribution. The framework addresses, among other examples, false discovery rate control in multi-label classification, intersection-over-union control in instance segmentation, and the simultaneous control of the type-1 error of outlier detection and confidence set coverage in classification or regression. To accomplish this, we solve a key technical challenge: the control of arbitrary risks that are not necessarily monotonic. Our main insight is to reframe the risk-control problem as multiple hypothesis testing, enabling techniques and mathematical arguments different from those in the previous literature. We use our framework to provide new calibration methods for several core machine learning tasks with detailed worked examples in computer vision.
• Abstract（参考訳）: 本稿では,機械学習モデルを校正するフレームワークであるLearn then Test(LTT)を紹介し,基礎となるモデルや(未知)データ生成分布に関わらず,その予測が明示的かつ有限サンプルな統計的保証を満たすようにした。 このフレームワークは、例えば、マルチラベル分類における偽発見率制御、インスタンスセグメンテーションにおける相互結合制御、そして分類や回帰における異常検出のタイプ1エラーと信頼度セットカバレッジの同時制御に対処する。 これを達成するために、私たちは技術的な課題、すなわち、必ずしも単調ではない任意のリスクのコントロールを解決します。 我々の主な洞察は、リスク制御問題を複数の仮説テストとして再編成し、従来の文献とは異なるテクニックと数学的議論を可能にすることである。 コンピュータビジョンの詳細な実例を用いて,複数のコア機械学習タスクに対する新しいキャリブレーション手法を提案する。

関連論文リスト

• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
  監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。 正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。 本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-08T22:40:19Z)
• Prototypical Calibration for Few-shot Learning of Language Models [84.5759596754605]
  GPTライクなモデルは、さまざまな手作りテンプレートやデモ順列にまたがる脆弱であると認識されている。 ゼロショットと少数ショットの分類において、より堅牢な決定境界を適応的に学習するためのプロトタイプキャリブレーションを提案する。 提案手法は決定境界を期待通りに校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-05-20T13:50:07Z)
• Score-Based Change Detection for Gradient-Based Learning Machines [9.670556223243182]
  本稿では,経験的リスク最小化により学習した機械学習モデルの任意のコンポーネント数の変化を検出できる汎用的なスコアベース変化検出手法を提案する。 仮説テストの整合性を確立し、所定の誤報率を達成するためにそれを校正する方法を示す。
  論文  参考訳（メタデータ） (2021-06-27T01:38:11Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)
• Implicit supervision for fault detection and segmentation of emerging fault types with Deep Variational Autoencoders [1.160208922584163]
  本研究では,ラベル付きおよびラベルなしサンプルを用いた可変オートエンコーダ(VAE)を提案する。 これによりコンパクトで情報に富んだ潜在表現が生成され、未確認のフォールトタイプの検出とセグメンテーションが良好になる。 本研究では,提案手法が他の学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-12-28T18:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。