Fugu-MT 論文翻訳(概要): Conformal Performance Range Prediction for Segmentation Output Quality Control

論文の概要: Conformal Performance Range Prediction for Segmentation Output Quality Control

arxiv url: http://arxiv.org/abs/2407.13307v2
Date: Thu, 29 Aug 2024 07:12:39 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 18:35:55.623508
Title: Conformal Performance Range Prediction for Segmentation Output Quality Control
Title（参考訳）: セグメント出力品質制御のための等角的性能範囲予測
Authors: Anna M. Wundram, Paul Fischer, Michael Muehlebach, Lisa M. Koch, Christian F. Baumgartner,
Abstract要約: 提案手法は,ユーザの特定確率に基底真理を含ませることの統計的保証を伴って,性能範囲を予測する新しい手法である。 FIVES網膜血管セグメンテーションデータセットへのアプローチを実証し、5つの一般的なサンプリングベース不確実性推定手法を比較した。
参考スコア（独自算出の注目度）: 6.519799925813643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent works have introduced methods to estimate segmentation performance without ground truth, relying solely on neural network softmax outputs. These techniques hold potential for intuitive output quality control. However, such performance estimates rely on calibrated softmax outputs, which is often not the case in modern neural networks. Moreover, the estimates do not take into account inherent uncertainty in segmentation tasks. These limitations may render precise performance predictions unattainable, restricting the practical applicability of performance estimation methods. To address these challenges, we develop a novel approach for predicting performance ranges with statistical guarantees of containing the ground truth with a user specified probability. Our method leverages sampling-based segmentation uncertainty estimation to derive heuristic performance ranges, and applies split conformal prediction to transform these estimates into rigorous prediction ranges that meet the desired guarantees. We demonstrate our approach on the FIVES retinal vessel segmentation dataset and compare five commonly used sampling-based uncertainty estimation techniques. Our results show that it is possible to achieve the desired coverage with small prediction ranges, highlighting the potential of performance range prediction as a valuable tool for output quality control.
Abstract（参考訳）: 近年の研究では、ニューラルネットワークのソフトマックス出力にのみ依存して、真理を示さずにセグメンテーション性能を推定する方法が提案されている。これらの技術は直感的な出力品質制御の可能性を秘めている。しかし、そのような性能推定は校正されたソフトマックス出力に依存しており、現代のニューラルネットワークではそうではないことが多い。さらに、推定値はセグメンテーションタスクに固有の不確実性を考慮していない。これらの制限は、正確な性能予測を達成不可能にし、性能推定手法の実用性を制限する可能性がある。これらの課題に対処するため,利用者が特定した確率で真理を含むという統計的保証付きの性能範囲を予測するための新しい手法を開発した。提案手法は,サンプリングに基づくセグメンテーションの不確実性推定を利用してヒューリスティックな性能範囲を導出し,これらの推定を所望の保証を満たす厳密な予測範囲に変換するために分割共形予測を適用する。 FIVES網膜血管セグメンテーションデータセットへのアプローチを実証し、5つの一般的なサンプリングベース不確実性推定手法を比較した。本結果から,出力品質管理に有用なツールとして,性能範囲予測の可能性を強調し,予測範囲を小さくすることで,所望のカバレッジを達成できることが示唆された。

関連論文リスト

Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-27T21:46:42Z)
Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文参考訳（メタデータ） (2024-08-05T03:18:58Z)
Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文参考訳（メタデータ） (2024-07-01T20:44:48Z)
PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction [27.434939269672288]
我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
論文参考訳（メタデータ） (2023-12-07T19:40:44Z)
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文参考訳（メタデータ） (2023-10-25T02:37:51Z)
Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
論文参考訳（メタデータ） (2023-05-23T17:24:04Z)
NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文参考訳（メタデータ） (2022-02-07T12:30:45Z)
Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文参考訳（メタデータ） (2021-02-10T15:23:20Z)
Learning Prediction Intervals for Model Performance [1.433758865948252]
モデル性能の予測間隔を計算する手法を提案する。我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
論文参考訳（メタデータ） (2020-12-15T21:32:03Z)
Probabilistic Deep Learning for Instance Segmentation [9.62543698736491]
提案手法は,提案不要なインスタンスセグメンテーションモデルにおけるモデル独立不確実性推定値を得るための汎用的な手法である。本手法は,BBBC010 C. elegansデータセットを用いて評価し,競合性能を示す。
論文参考訳（メタデータ） (2020-08-24T19:51:48Z)
Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。