論文の概要: Estimating Predictive Uncertainty Under Program Data Distribution Shift

• arxiv url: http://arxiv.org/abs/2107.10989v1
• Date: Fri, 23 Jul 2021 01:50:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-26 21:44:11.641745
• Title: Estimating Predictive Uncertainty Under Program Data Distribution Shift
• Title（参考訳）: プログラムデータ分散シフトによる予測不確かさの推定
• Authors: Yufei Li, Simin Chen, Wei Yang
• Abstract要約: 明確に定義された不確実性は、モデルの出力が信頼されるべきである(または信用すべきでない)かどうかを示す。 既存の不確実性アプローチでは、異なるデータ分布からのサンプルのテストが信頼できないモデル予測を引き起こすと仮定している。
• 参考スコア（独自算出の注目度）: 3.603932017607092
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep learning (DL) techniques have achieved great success in predictive accuracy in a variety of tasks, but deep neural networks (DNNs) are shown to produce highly overconfident scores for even abnormal samples. Well-defined uncertainty indicates whether a model's output should (or should not) be trusted and thus becomes critical in real-world scenarios which typically involves shifted input distributions due to many factors. Existing uncertainty approaches assume that testing samples from a different data distribution would induce unreliable model predictions thus have higher uncertainty scores. They quantify model uncertainty by calibrating DL model's confidence of a given input and evaluate the effectiveness in computer vision (CV) and natural language processing (NLP)-related tasks. However, their methodologies' reliability may be compromised under programming tasks due to difference in data representations and shift patterns. In this paper, we first define three different types of distribution shift in program data and build a large-scale shifted Java dataset. We implement two common programming language tasks on our dataset to study the effect of each distribution shift on DL model performance. We also propose a large-scale benchmark of existing state-of-the-art predictive uncertainty on programming tasks and investigate their effectiveness under data distribution shift. Experiments show that program distribution shift does degrade the DL model performance to varying degrees and that existing uncertainty methods all present certain limitations in quantifying uncertainty on program dataset.
• Abstract（参考訳）: 深層学習(DL)技術は様々なタスクにおいて予測精度に大きな成功を収めているが、深層ニューラルネットワーク(DNN)は異常なサンプルであっても高い過度なスコアを得られる。 明確に定義された不確実性は、モデルのアウトプットを信頼すべき(あるいは信頼すべきでない)かどうかを示し、多くの要因により通常シフトした入力分布を伴う現実のシナリオにおいて重要なものとなる。 既存の不確実性アプローチでは、異なるデータ分布からの試験サンプルが信頼性の低いモデル予測を誘導すると仮定している。 dlモデルの入力に対する信頼度を校正し、コンピュータビジョン(cv)および自然言語処理(nlp)関連タスクの有効性を評価することにより、モデルの不確実性を定量化する。 しかしながら、それらの方法論の信頼性は、データ表現とシフトパターンの違いにより、プログラミングタスクの下で損なわれる可能性がある。 本稿ではまず,プログラムデータの分散シフトを3種類定義し,大規模にシフトしたJavaデータセットを構築する。 2つの共通プログラミング言語タスクをデータセットに実装し,各分散シフトがdlモデル性能に与える影響について検討した。 また,プログラムタスクにおける現状予測の不確実性の大規模ベンチマークを提案し,データ分散シフト下での有効性について検討する。 実験により、プログラム分布シフトはDLモデルの性能を様々な程度に低下させ、既存の不確実性手法は全て、プログラムデータセットにおける不確実性の定量化に一定の制限を与えることを示した。

関連論文リスト

• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Explainability through uncertainty: Trustworthy decision-making with neural networks [1.104960878651584]
  不確実性は、あらゆる機械学習モデルの主要な特徴である。 ニューラルネットワークでは特に重要であり、過信されがちである。 XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善する。
  論文  参考訳（メタデータ） (2024-03-15T10:22:48Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。