論文の概要: Confidence Calibration for Systems with Cascaded Predictive Modules
- arxiv url: http://arxiv.org/abs/2309.12510v1
- Date: Thu, 21 Sep 2023 22:12:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 16:31:49.425737
- Title: Confidence Calibration for Systems with Cascaded Predictive Modules
- Title（参考訳）: カスケード予測モジュールを用いたシステムの信頼性校正
- Authors: Yunye Gong, Yi Yao, Xiao Lin, Ajay Divakaran, Melinda Gervasio
- Abstract要約: 本稿では,共形予測に基づく新しい解を提案する。
我々のキーとなる考え方は、モジュールレベルの検証データを利用して、エンドツーエンドの検証データに直接アクセスすることなく、システムレベルのエラー分布を特徴付けることです。
個々のモジュールに対して校正された予測間隔と比較して,システム予測の性能保証がより正確である改良間隔を生成する。
- 参考スコア（独自算出の注目度）: 9.393699753285997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing conformal prediction algorithms estimate prediction intervals at
target confidence levels to characterize the performance of a regression model
on new test samples. However, considering an autonomous system consisting of
multiple modules, prediction intervals constructed for individual modules fall
short of accommodating uncertainty propagation over different modules and thus
cannot provide reliable predictions on system behavior. We address this
limitation and present novel solutions based on conformal prediction to provide
prediction intervals calibrated for a predictive system consisting of cascaded
modules (e.g., an upstream feature extraction module and a downstream
regression module). Our key idea is to leverage module-level validation data to
characterize the system-level error distribution without direct access to
end-to-end validation data. We provide theoretical justification and empirical
experimental results to demonstrate the effectiveness of proposed solutions. In
comparison to prediction intervals calibrated for individual modules, our
solutions generate improved intervals with more accurate performance guarantees
for system predictions, which are demonstrated on both synthetic systems and
real-world systems performing overlap prediction for indoor navigation using
the Matterport3D dataset.
- Abstract（参考訳）: 既存の共形予測アルゴリズムは、目標信頼度レベルで予測間隔を推定し、新しいテストサンプルにおける回帰モデルの性能を特徴付ける。
しかし、複数のモジュールからなる自律システムを考えると、個々のモジュールに構築された予測間隔は、異なるモジュール上の不確実性伝播を調節できないため、システムの挙動に関する信頼性の高い予測はできない。
本稿では,この制約に対処し,並列化モジュール(上流特徴抽出モジュール,下流回帰モジュールなど)からなる予測システムに対して最適化された予測間隔を提供するために,共形予測に基づく新しい解を提案する。
我々のキーとなる考え方は、モジュールレベルの検証データを利用して、エンドツーエンドの検証データに直接アクセスすることなく、システムレベルのエラー分布を特徴付けることです。
提案手法の有効性を実証するために理論的正当性および実験結果を提供する。
個々のモジュールに校正された予測間隔と比較して,matterport3dデータセットを用いた屋内ナビゲーションの重複予測を行う合成システムと実世界のシステムの両方で実証された,システム予測に対する精度の高い性能保証を備えた改良されたインターバルを生成する。
関連論文リスト
- Adaptive Uncertainty Quantification for Trajectory Prediction Under Distributional Shift [6.029850098632435]
軌道予測モデルは、有限未来の軌道とその関連する不確実性の両方をオンライン環境で推測することができる。
本研究では、予測された軌道の不確かさを定量化するために、分散シフトフレームワークCUQDSのコンフォーマル不確実性定量化を提案する。
論文 参考訳（メタデータ） (2024-06-17T21:25:36Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳（メタデータ） (2024-02-02T05:53:22Z) - Deep Non-Parametric Time Series Forecaster [19.800783133682955]
提案手法は, 予測分布のパラメトリック形式を仮定せず, 学習可能な戦略に従って実験分布からサンプリングして予測を生成する。
提案手法のグローバルバージョンを開発し,複数の時系列にまたがる情報を活用することで,サンプリング戦略を自動的に学習する。
論文 参考訳（メタデータ） (2023-12-22T12:46:30Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳（メタデータ） (2023-06-15T17:03:14Z) - Online machine-learning forecast uncertainty estimation for sequential
data assimilation [0.0]
予測の不確実性の定量化は、最先端の数値予測とデータ同化システムの重要な側面である。
本研究では、状態依存予測の不確実性を推定する畳み込みニューラルネットワークに基づく機械学習手法を提案する。
ハイブリッドデータ同化法は,アンサンブルが比較的小さい場合に,アンサンブルカルマンフィルタと同等の性能を示す。
論文 参考訳（メタデータ） (2023-05-12T19:23:21Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Uncertainty-Aware Performance Prediction for Highly Configurable
Software Systems via Bayesian Neural Networks [12.607426130997336]
本稿では,予測モデルに不確実性を組み込むベイズ深層学習手法BDLPerfを提案する。
本研究では,ベイズ予測モデルにより生じる信頼区間の信頼性を確保するために,新しい不確実性校正手法を開発した。
実世界の10のシステムに対する実験結果から,BDLPerfは既存の手法よりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-12-27T04:39:26Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2020-06-24T23:13:11Z) - Semi-Modular Inference: enhanced learning in multi-modular models by
tempering the influence of components [0.0]
既存のModular/Cut-model推論がコヒーレントであることを示し、Semi-Modular Inferenceスキームの新しいファミリーを記述する。
推論方式を選択するメタラーニング基準と推定手順を与える。
文献から得られた2つの標準的な試験事例と,その動機となる考古学的データセットについて概説する。
論文 参考訳（メタデータ） (2020-03-15T11:55:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。