論文の概要: A Survey on Uncertainty Toolkits for Deep Learning
- arxiv url: http://arxiv.org/abs/2205.01040v1
- Date: Mon, 2 May 2022 17:23:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 16:10:00.437338
- Title: A Survey on Uncertainty Toolkits for Deep Learning
- Title(参考訳): 深層学習のための不確実性ツールキットに関する研究
- Authors: Maximilian Pintz, Joachim Sicking, Maximilian Poretschkin, Maram Akila
- Abstract要約: ディープラーニング(DL)における不確実性推定のためのツールキットに関する第1回調査について述べる。
モデリングおよび評価能力に関する11のツールキットについて検討する。
最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
- 参考スコア(独自算出の注目度): 3.113304966059062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep learning (DL) fostered the creation of unifying
frameworks such as tensorflow or pytorch as much as it was driven by their
creation in return. Having common building blocks facilitates the exchange of,
e.g., models or concepts and makes developments easier replicable. Nonetheless,
robust and reliable evaluation and assessment of DL models has often proven
challenging. This is at odds with their increasing safety relevance, which
recently culminated in the field of "trustworthy ML". We believe that, among
others, further unification of evaluation and safeguarding methodologies in
terms of toolkits, i.e., small and specialized framework derivatives, might
positively impact problems of trustworthiness as well as reproducibility. To
this end, we present the first survey on toolkits for uncertainty estimation
(UE) in DL, as UE forms a cornerstone in assessing model reliability. We
investigate 11 toolkits with respect to modeling and evaluation capabilities,
providing an in-depth comparison for the three most promising ones, namely
Pyro, Tensorflow Probability, and Uncertainty Quantification 360. While the
first two provide a large degree of flexibility and seamless integration into
their respective framework, the last one has the larger methodological scope.
- Abstract(参考訳): ディープラーニング(dl)の成功は、tensorflowやpytorchといった統一的なフレームワークの開発を、その見返りとして作り上げたのと同じくらい促進した。
共通のビルディングブロックを持つことで、例えばモデルや概念の交換が容易になり、開発を複製しやすくする。
それでもdlモデルの堅牢で信頼性の高い評価や評価は、しばしば困難であることが証明されている。
これは、最近「信頼できるML」の分野で頂点に達した安全関連性の増加と矛盾している。
我々は、特に、ツールキット、すなわち小型で専門的なフレームワークデリバティブの観点からの評価と保護の方法論のさらなる統一が、信頼性の問題や再現性に肯定的な影響を及ぼすと考えている。
この目的のために, UE がモデル信頼性評価の基盤となるため, DL における不確実性推定(UE)のためのツールキットに関する最初の調査を行う。
モデリングと評価能力に関する11のツールキットを調査し,pyro,tensorflow確率,不確かさの定量化360という,最も有望な3つのツールキットについて詳細な比較を行った。
最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
関連論文リスト
- Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T12:06:53Z) - SureFED: Robust Federated Learning via Uncertainty-Aware Inward and
Outward Inspection [29.491675102478798]
本稿では,堅牢なフェデレーション学習のための新しいフレームワークであるSureFEDを紹介する。
SureFEDは、良識のあるクライアントのローカル情報を使って信頼を確立する。
理論的には、データとモデル中毒攻撃に対するアルゴリズムの堅牢性を証明する。
論文 参考訳(メタデータ) (2023-08-04T23:51:05Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳(メタデータ) (2023-07-19T12:11:15Z) - Calibrating Multimodal Learning [94.65232214643436]
本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。
この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
論文 参考訳(メタデータ) (2023-06-02T04:29:57Z) - Toward Reliable Human Pose Forecasting with Uncertainty [62.83828620074307]
我々は、複数のモデル、データセット、標準化された評価指標を特徴とする、人間のポーズ予測のためのオープンソースのライブラリを開発した。
本研究では,不確かさの挙動に関する知識を注入するために,不確実性事前を用いてアレタリック不確かさをモデル化する手法を提案する。
実験では,精度が最大で25%向上し,不確実性推定の性能が向上した。
論文 参考訳(メタデータ) (2023-04-13T17:56:08Z) - Reliability in Semantic Segmentation: Are We on the Right Track? [15.0189654919665]
我々は、古いResNetベースのアーキテクチャから新しいトランスフォーマーまで、さまざまなモデルを分析します。
近年のモデルでは, 信頼性は著しく高いが, 不確実性評価の点では, 全体として信頼性は高くない。
これは、ロバストネスと不確実性推定の両方に焦点を当てた現代のセグメンテーションモデルに関する最初の研究である。
論文 参考訳(メタデータ) (2023-03-20T17:38:24Z) - Training, Architecture, and Prior for Deterministic Uncertainty Methods [33.45069308137142]
本研究は決定論的不確実性法(DUM)における重要な設計選択について検討する。
コアアーキテクチャと不確実性ヘッドスキームを分離したトレーニングスキームは、不確実性性能を大幅に改善できることを示す。
他のベイズモデルとは対照的に、DUMが定義した事前定義が最終的な性能に強い影響を及ぼさないことを示す。
論文 参考訳(メタデータ) (2023-03-10T09:00:52Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Assessing the Reliability of Deep Learning Classifiers Through
Robustness Evaluation and Operational Profiles [13.31639740011618]
本稿では,Deep Learning (DL)分類器のモデルに依存しない信頼性評価手法を提案する。
入力空間を小さなセルに分割し、与えられたアプリケーションの運用プロファイル(OP)に従って、その堅牢性を(基礎的な真実に)"組み立てる。
信頼度は、入力(pmi)毎の誤分類の確率で推定され、信頼度とともに導出できる。
論文 参考訳(メタデータ) (2021-06-02T16:10:46Z) - A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。
彼らは敵の防御を動機付ける敵の例に弱い。
本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-24T01:04:25Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。