論文の概要: What Does Rotation Prediction Tell Us about Classifier Accuracy under Varying Testing Environments?

• arxiv url: http://arxiv.org/abs/2106.05961v1
• Date: Thu, 10 Jun 2021 17:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:30:33.516057
• Title: What Does Rotation Prediction Tell Us about Classifier Accuracy under Varying Testing Environments?
• Title（参考訳）: 変速試験環境下での分類精度について回転予測が示すこと
• Authors: Weijian Deng, Stephen Gould, Liang Zheng
• Abstract要約: 我々はマルチタスク方式で意味分類と回転予測を訓練する。 一連のデータセットにおいて、セマンティック分類精度は回転予測タスクの精度と強い線形関係を示すという興味深い発見を報告する。
• 参考スコア（独自算出の注目度）: 47.66854943878978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding classifier decision under novel environments is central to the community, and a common practice is evaluating it on labeled test sets. However, in real-world testing, image annotations are difficult and expensive to obtain, especially when the test environment is changing. A natural question then arises: given a trained classifier, can we evaluate its accuracy on varying unlabeled test sets? In this work, we train semantic classification and rotation prediction in a multi-task way. On a series of datasets, we report an interesting finding, i.e., the semantic classification accuracy exhibits a strong linear relationship with the accuracy of the rotation prediction task (Pearson's Correlation r > 0.88). This finding allows us to utilize linear regression to estimate classifier performance from the accuracy of rotation prediction which can be obtained on the test set through the freely generated rotation labels.
• Abstract（参考訳）: 新たな環境下での分類器の決定を理解することはコミュニティの中心であり、ラベル付きテストセットで評価することが一般的である。 しかし、実世界のテストでは、特にテスト環境が変化している場合、画像アノテーションは入手が難しく、コストがかかる。 訓練された分類器が与えられたら、その精度を様々な未ラベルのテストセットで評価できるだろうか? 本研究では,マルチタスクで意味的分類と回転予測を訓練する。 一連のデータセットについて,セマンティクス分類精度は,回転予測タスクの精度と強い線形関係を示す(ピアソン相関r > 0.88)。 この発見により,自由生成する回転ラベルを用いた試験で得られる回転予測の精度から,線形回帰を利用して分類器の性能を推定できる。

関連論文リスト

• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals [8.827892752465958]
  自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。 因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
  論文  参考訳（メタデータ） (2020-12-18T03:57:32Z)
• Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
  そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。 ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
  論文  参考訳（メタデータ） (2020-10-28T14:37:25Z)
• Local Temperature Scaling for Probability Calibration [22.069749881109992]
  本稿では,セマンティックセグメンテーションに着目した学習に基づくキャリブレーション手法を提案する。 具体的には、確率校正のための局所的な温度値を予測するために畳み込みニューラルネットワークを採用する。 COCO、CamVid、LPBA40データセットの実験では、さまざまなメトリクスのキャリブレーション性能が改善された。
  論文  参考訳（メタデータ） (2020-08-12T04:39:32Z)
• Are Labels Always Necessary for Classifier Accuracy Evaluation? [28.110519483540482]
  ラベルなしテストデータセットの分類精度を推定することを目的としている。 元の画像から生成されたデータセットからなるメタデータセットを構築する。 各サンプル(データセット)上のモデルの分類精度は、元のデータセットラベルから知られているので、回帰によってそのタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-07-06T17:45:39Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。