論文の概要: Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations

• arxiv url: http://arxiv.org/abs/2003.12237v1
• Date: Fri, 27 Mar 2020 05:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 05:02:33.787102
• Title: Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations
• Title（参考訳）: 識別性と多様性に向けて--ラベル不足下におけるバッチ核ノルム最大化
• Authors: Shuhao Cui, Shuhui Wang, Junbao Zhuo, Liang Li, Qingming Huang, Qi Tian
• Abstract要約: Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
• 参考スコア（独自算出の注目度）: 154.51144248210338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learning of the deep networks largely relies on the data with human-annotated labels. In some label insufficient situations, the performance degrades on the decision boundary with high data density. A common solution is to directly minimize the Shannon Entropy, but the side effect caused by entropy minimization, i.e., reduction of the prediction diversity, is mostly ignored. To address this issue, we reinvestigate the structure of classification output matrix of a randomly selected data batch. We find by theoretical analysis that the prediction discriminability and diversity could be separately measured by the Frobenius-norm and rank of the batch output matrix. Besides, the nuclear-norm is an upperbound of the Frobenius-norm, and a convex approximation of the matrix rank. Accordingly, to improve both discriminability and diversity, we propose Batch Nuclear-norm Maximization (BNM) on the output matrix. BNM could boost the learning under typical label insufficient learning scenarios, such as semi-supervised learning, domain adaptation and open domain recognition. On these tasks, extensive experimental results show that BNM outperforms competitors and works well with existing well-known methods. The code is available at https://github.com/cuishuhao/BNM.
• Abstract（参考訳）: ディープネットワークの学習は主に、人間の注釈付きラベルのデータに依存している。 ラベルが不十分な状況では、データ密度の高い決定境界でパフォーマンスが低下する。 一般的な解法はシャノンエントロピーを直接最小化することであるが、エントロピー最小化(すなわち予測の多様性の減少)による副作用はほとんど無視される。 この問題に対処するために,ランダムに選択されたデータバッチの分類出力行列の構造を再検討する。 理論解析により, 予測判別性と多様性は, バッチ出力行列のフロベニウスノルムとランクによって別々に測定できることがわかった。 さらに、核ノルムはフロベニウスノルムの上界であり、行列ランクの凸近似である。 そこで我々は,識別性と多様性を両立させるため,出力行列上でのBatch Nuclear-norm Maximization (BNM)を提案する。 BNMは、半教師付き学習、ドメイン適応、オープンドメイン認識などの学習シナリオが不十分なラベルで学習を促進する可能性がある。 これらの課題において、BNMは競合より優れ、既存のよく知られた手法でうまく機能することを示す。 コードはhttps://github.com/cuishuhao/bnmで入手できる。

関連論文リスト

• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision [21.393509817509464]
  本稿では, テクスト汚染耐性連続監視信号を考案した, 半教師付き異常検出手法を提案する。 当社のアプローチは、AUC-PRにおいて最先端の競合他社を20%-30%上回っている。
  論文  参考訳（メタデータ） (2023-07-25T04:04:49Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation [154.2195491708548]
  ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
  論文  参考訳（メタデータ） (2021-07-13T15:08:32Z)
• Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity [77.78624443410216]
  異種胸部データ検出のための改良型FDAMアルゴリズムを提案する。 本研究は,提案アルゴリズムの通信が機械数に強く依存し,精度レベルにも強く依存していることを示す。 FDAMアルゴリズムのベンチマークデータセットと、異なる組織の医療用胸部X線画像に対する効果を実験により実証した。
  論文  参考訳（メタデータ） (2021-02-09T04:05:19Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Bayesian Semi-supervised Multi-category Classification under Nonparanormality [2.307581190124002]
  セミ教師付き学習はラベル付きデータとラベルなしデータの両方を使用するモデルトレーニング手法である。 本稿では,任意のカテゴリ分類問題に適用可能なベイズ半教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-11T21:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。