論文の概要: Adaptive Uncertainty Quantification for Generative AI

• arxiv url: http://arxiv.org/abs/2408.08990v1
• Date: Fri, 16 Aug 2024 19:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 23:06:45.907483
• Title: Adaptive Uncertainty Quantification for Generative AI
• Title（参考訳）: 生成AIのための適応的不確実性定量化
• Authors: Jungeum Kim, Sean O'Hagan, Veronika Rockova,
• Abstract要約: 分割コンフォーマルな推論を反映して、整合性のスコアを校正するブラックボックスアルゴリズムのラッパーを設計する。 校正セット上の適合点に頑健な回帰木を嵌合させることにより適応的分割を実現する。 従来のスプリット・コンフォーマルな推論とは異なり、適応的な分割とグループ内キャリブレーションは、局所的に拡張および縮小できる適応バンドをもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work is concerned with conformal prediction in contemporary applications (including generative AI) where a black-box model has been trained on data that are not accessible to the user. Mirroring split-conformal inference, we design a wrapper around a black-box algorithm which calibrates conformity scores. This calibration is local and proceeds in two stages by first adaptively partitioning the predictor space into groups and then calibrating sectionally group by group. Adaptive partitioning (self-grouping) is achieved by fitting a robust regression tree to the conformity scores on the calibration set. This new tree variant is designed in such a way that adding a single new observation does not change the tree fit with overwhelmingly large probability. This add-one-in robustness property allows us to conclude a finite sample group-conditional coverage guarantee, a refinement of the marginal guarantee. In addition, unlike traditional split-conformal inference, adaptive splitting and within-group calibration yields adaptive bands which can stretch and shrink locally. We demonstrate benefits of local tightening on several simulated as well as real examples using non-parametric regression. Finally, we consider two contemporary classification applications for obtaining uncertainty quantification around GPT-4o predictions. We conformalize skin disease diagnoses based on self-reported symptoms as well as predicted states of U.S. legislators based on summaries of their ideology. We demonstrate substantial local tightening of the uncertainty sets while attaining similar marginal coverage.
• Abstract（参考訳）: この研究は、ユーザーにはアクセスできないデータに基づいてブラックボックスモデルをトレーニングした現代的アプリケーション(生成AIを含む)における整合予測に関係している。 分割コンフォーマルな推論を反映して、整合性のスコアを校正するブラックボックスアルゴリズムのラッパーを設計する。 このキャリブレーションは局所的で、まず予測空間を群に適応的に分割し、次に部分群をグループごとにキャリブレーションすることで、2段階に進む。 アダプティブパーティショニング(自己グループ化)は、ロバスト回帰ツリーをキャリブレーションセット上の適合点に適合させることにより達成される。 この新しいツリー変種は、単一の新しい観測を追加することで、圧倒的に大きな確率でツリーが適合しないように設計されている。 この付加対一ロバスト性により、有限標本群条件カバレッジ保証、限界保証の洗練を結論付けることができる。 さらに、従来の分割等角推論とは異なり、適応分割とグループ内キャリブレーションは局所的に拡張・縮小できる適応帯域をもたらす。 非パラメトリック回帰を用いた実例とシミュレーションによる局所的な締め付けの利点を実例で示す。 最後に、GPT-4o予測に関する不確実性定量化を得るための2つの現代分類法について考察する。 我々は、自己申告症状に基づく皮膚疾患の診断と、そのイデオロギーの要約に基づく米国議会の予測状態を一致させる。 我々は、類似の限界範囲をカバーしながら、不確実性集合の相当な局所的な強化を示す。

関連論文リスト

• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Regression Trees for Fast and Adaptive Prediction Intervals [2.6763498831034043]
  本稿では,局所的なカバレッジ保証を伴う回帰問題に対して,予測間隔を調整するための一連の手法を提案する。 回帰木とランダムフォレストを適合度スコアでトレーニングすることで分割を作成する。 提案手法は多種多様な適合性スコアや予測設定に適用できるため,多種多様である。
  論文  参考訳（メタデータ） (2024-02-12T01:17:09Z)
• On the Out-of-Distribution Coverage of Combining Split Conformal Prediction and Bayesian Deep Learning [1.131316248570352]
  ベイジアンディープラーニングと分割共形予測の組み合わせと,この組み合わせが分布外カバレッジにどのように影響するかに着目した。 以上の結果から,ベイズ的深層学習モデルと分割共形予測を組み合わせれば,アウト・オブ・ディストリビューション(out-of-distriion)のカバレッジを減少させるなどの意図しない結果が生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-21T15:50:37Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Distribution-Free Finite-Sample Guarantees and Split Conformal Prediction [0.0]
  分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。 1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
  論文  参考訳（メタデータ） (2022-10-26T14:12:24Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。