論文の概要: Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning

• arxiv url: http://arxiv.org/abs/2106.04015v1
• Date: Mon, 7 Jun 2021 23:57:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 15:48:25.180769
• Title: Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning
• Title（参考訳）: 不確かさのベースライン:ディープラーニングにおける不確かさとロバストさのベンチマーク
• Authors: Zachary Nado, Neil Band, Mark Collier, Josip Djolonga, Michael W. Dusenberry, Sebastian Farquhar, Angelos Filos, Marton Havasi, Rodolphe Jenatton, Ghassen Jerfel, Jeremiah Liu, Zelda Mariet, Jeremy Nixon, Shreyas Padhy, Jie Ren, Tim G. J. Rudner, Yeming Wen, Florian Wenzel, Kevin Murphy, D. Sculley, Balaji Lakshminarayanan, Jasper Snoek, Yarin Gal, Dustin Tran
• Abstract要約: 不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。 各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。 モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
• 参考スコア（独自算出の注目度）: 66.59455427102152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality estimates of uncertainty and robustness are crucial for numerous real-world applications, especially for deep learning which underlies many deployed ML systems. The ability to compare techniques for improving these estimates is therefore very important for research and practice alike. Yet, competitive comparisons of methods are often lacking due to a range of reasons, including: compute availability for extensive tuning, incorporation of sufficiently many baselines, and concrete documentation for reproducibility. In this paper we introduce Uncertainty Baselines: high-quality implementations of standard and state-of-the-art deep learning methods on a variety of tasks. As of this writing, the collection spans 19 methods across 9 tasks, each with at least 5 metrics. Each baseline is a self-contained experiment pipeline with easily reusable and extendable components. Our goal is to provide immediate starting points for experimentation with new methods or applications. Additionally we provide model checkpoints, experiment outputs as Python notebooks, and leaderboards for comparing results. Code available at https://github.com/google/uncertainty-baselines.
• Abstract（参考訳）: 高品質な不確実性と堅牢性の推定は、多くの実世界のアプリケーション、特に多くのデプロイされたMLシステムの基盤となるディープラーニングに不可欠である。 したがって、これらの見積もりを改善するためのテクニックを比較する能力は、研究や実践にとっても非常に重要です。 しかし、幅広いチューニングのための計算可用性、十分に多くのベースラインの組み入れ、再現性のための具体的なドキュメントなど、様々な理由により、メソッドの競合比較がしばしば欠落している。 本稿では,各種タスクにおける標準および最先端のディープラーニング手法の高品質実装である不確実性ベースラインを紹介する。 この執筆時点で、コレクションは9つのタスクにまたがる19のメソッドにまたがり、それぞれに少なくとも5つのメトリクスがある。 各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた自己完結型実験パイプラインである。 私たちの目標は、新しい方法やアプリケーションの実験のための即時の出発点を提供することです。 さらに、モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードも提供します。 コードはhttps://github.com/google/uncertainty-baselinesで入手できる。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• 1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness [22.09354138194545]
  境界等級の入力摂動に対するニューラルネットワークの堅牢性は、ディープラーニングモデルの安全クリティカルシステムへの展開において深刻な関心事である。 近年、科学コミュニティは、リプシッツ境界層と畳み込み層を利用する1-Lipschitzニューラルネットワークを構築することで、証明可能な堅牢性を保証することに重点を置いている。 本稿では, メモリ使用量, 速度, 証明可能なロバストな精度で評価することで, 提案手法の理論的, 実証的な比較を行う。
  論文  参考訳（メタデータ） (2023-11-28T14:50:50Z)
• A Comprehensive Empirical Evaluation on Online Continual Learning [20.39495058720296]
  オンライン連続学習に取り組む文献から手法を評価する。 画像分類の文脈におけるクラスインクリメンタル設定に焦点をあてる。 これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-08-20T17:52:02Z)
• DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
  ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。 DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。 DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
  論文  参考訳（メタデータ） (2023-07-04T01:34:41Z)
• Unsupervised Embedding Quality Evaluation [6.72542623686684]
  SSLモデルは、他のドメインに転送された時に正常に動作するかどうか、しばしば不明である。 安定した方法でデータを線形に分離することがいかに容易か、定量化できますか? 本稿では,自己教師付き学習における高次元幾何学構造理解の最近の進歩に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T01:06:44Z)
• Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
  公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。 実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-09T06:46:42Z)
• Differential testing for machine learning: an analysis for classification algorithms beyond deep learning [7.081604594416339]
  我々はScikit-learn, Weka, Spark MLlib, Caretを用いてケーススタディを行う。 複数のフレームワークでどのアルゴリズムが利用できるかを考慮し、差分テストの可能性を特定する。 他のフレームワークで同じ設定を判断できないことが多いため、実現可能性には制限があるように思える。
  論文  参考訳（メタデータ） (2022-07-25T08:27:01Z)
• A novel evaluation methodology for supervised Feature Ranking algorithms [0.0]
  本稿では,特徴ランクの新たな評価手法を提案する。 合成データセットを使用することで、特徴重要度スコアを事前に知ることができ、より体系的な評価が可能になる。 新しい方法論を使った大規模な実験を容易にするため、fsevalと呼ばれるベンチマークフレームワークがPythonで構築された。
  論文  参考訳（メタデータ） (2022-07-09T12:00:36Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。