論文の概要: Selective Ensembles for Consistent Predictions

• arxiv url: http://arxiv.org/abs/2111.08230v1
• Date: Tue, 16 Nov 2021 05:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 03:13:03.728647
• Title: Selective Ensembles for Consistent Predictions
• Title（参考訳）: 一貫性予測のための選択アンサンブル
• Authors: Emily Black and Klas Leino and Matt Fredrikson
• Abstract要約: 不整合は高い文脈では望ましくない。 この矛盾は、予測を超えて属性を特徴付けていることが示される。 我々は,選択的アンサンブルが低禁制率を維持しつつ,一貫した予測と特徴属性を達成することを証明した。
• 参考スコア（独自算出の注目度）: 19.154189897847804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that models trained to the same objective, and which achieve similar measures of accuracy on consistent test data, may nonetheless behave very differently on individual predictions. This inconsistency is undesirable in high-stakes contexts, such as medical diagnosis and finance. We show that this inconsistent behavior extends beyond predictions to feature attributions, which may likewise have negative implications for the intelligibility of a model, and one's ability to find recourse for subjects. We then introduce selective ensembles to mitigate such inconsistencies by applying hypothesis testing to the predictions of a set of models trained using randomly-selected starting conditions; importantly, selective ensembles can abstain in cases where a consistent outcome cannot be achieved up to a specified confidence level. We prove that that prediction disagreement between selective ensembles is bounded, and empirically demonstrate that selective ensembles achieve consistent predictions and feature attributions while maintaining low abstention rates. On several benchmark datasets, selective ensembles reach zero inconsistently predicted points, with abstention rates as low 1.5%.
• Abstract（参考訳）: 近年の研究では、同じ目的に訓練されたモデルと、一貫性のあるテストデータで同様の精度測定を達成するモデルが、個々の予測に対して非常に異なる振る舞いをする可能性があることが示されている。 この矛盾は、医療診断やファイナンスといった高い文脈では望ましくない。 この一貫性のない行動は予測を超えて特徴帰属にまで及んでいることを示し、これは同様にモデルの知性や被写体への帰属を見出す能力に負の影響を及ぼす可能性がある。 次に、ランダムに選択された開始条件を用いて訓練されたモデルの集合の予測に仮説検定を適用することにより、このような不整合を緩和する選択的アンサンブルを導入する。 選択的アンサンブル間の予測不一致が有界であることを証明し、低吸収率を維持しながら、選択アンサンブルが一貫した予測と特徴属性を達成することを実証した。 いくつかのベンチマークデータセットでは、選択的なアンサンブルが0に到達し、棄却率は1.5%である。

関連論文リスト

• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Confidence on the Focal: Conformal Prediction with Selection-Conditional Coverage [6.010965256037659]
  コンフォーマル予測は、ランダムに描画された新しいテストポイントの未知の結果を所定の確率でカバーする、わずかに有効な予測間隔を構築する。 そのようなケースでは、選択バイアスによる焦点単位に対する正当性予測間隔は、選択バイアスによる有効なカバレッジを提供できない。 本稿では、選択した単位に対して、有限サンプルの正確なカバレッジ条件を持つ予測セットを構築するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-06T17:18:24Z)
• Predicting generalization performance with correctness discriminators [64.00420578048855]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Invariant Probabilistic Prediction [45.90606906307022]
  任意の分布シフトは、一般に不変かつ頑健な確率的予測を認めないことを示す。 Invariant probabilistic predictions called IPP, and study the consistency of the underlying parameters。
  論文  参考訳（メタデータ） (2023-09-18T18:50:24Z)
• Generalization within in silico screening [19.58677466616286]
  シリカスクリーニングでは、予測モデルを使用して、実験的な検証のためにライブラリから好ましい特性を持つ化合物のバッチを選択する。 学習理論を拡張することにより、選択政策の選択性は一般化に大きな影響を及ぼすことを示す。 モデルがバッチで望ましい結果のごく一部を予測できる能力を考えると,一般化が著しく向上できることが示される。
  論文  参考訳（メタデータ） (2023-07-18T16:01:01Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。