論文の概要: Bridging the Gap: Unifying the Training and Evaluation of Neural Network Binary Classifiers

• arxiv url: http://arxiv.org/abs/2009.01367v3
• Date: Thu, 2 Jun 2022 00:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 18:44:03.402425
• Title: Bridging the Gap: Unifying the Training and Evaluation of Neural Network Binary Classifiers
• Title（参考訳）: ギャップのブリッジ:ニューラルネットワークバイナリ分類器の訓練と評価を統一する
• Authors: Nathan Tsoi, Kate Candon, Deyuan Li, Yofti Milkessa, Marynel V\'azquez
• Abstract要約: 本論文では,Heaviside関数の微分可能な近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の訓練手法を提案する。 我々の理論解析は,ソフトセットを用いた$F_$-Scoreなどの評価基準を最適化する手法の利点を示している。
• 参考スコア（独自算出の注目度）: 0.4893345190925178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While neural network binary classifiers are often evaluated on metrics such as Accuracy and $F_1$-Score, they are commonly trained with a cross-entropy objective. How can this training-evaluation gap be addressed? While specific techniques have been adopted to optimize certain confusion matrix based metrics, it is challenging or impossible in some cases to generalize the techniques to other metrics. Adversarial learning approaches have also been proposed to optimize networks via confusion matrix based metrics, but they tend to be much slower than common training methods. In this work, we propose a unifying approach to training neural network binary classifiers that combines a differentiable approximation of the Heaviside function with a probabilistic view of the typical confusion matrix values using soft sets. Our theoretical analysis shows the benefit of using our method to optimize for a given evaluation metric, such as $F_1$-Score, with soft sets, and our extensive experiments show the effectiveness of our approach in several domains.
• Abstract（参考訳）: ニューラルネットワークバイナリ分類器は、精度や$F_1$-Scoreなどのメトリクスで評価されることが多いが、一般的にはクロスエントロピー目的で訓練されている。 このトレーニングと評価のギャップにどのように対処すればよいのか? ある種の混乱行列に基づくメトリクスを最適化するために特定のテクニックが採用されているが、場合によっては他のメトリクスにテクニックを一般化することは困難または不可能である。 混乱マトリクスベースのメトリクスによるネットワーク最適化には、逆学習手法も提案されているが、一般的なトレーニング方法よりもはるかに遅い傾向がある。 本研究では,Heaviside関数の微分可能近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の学習手法を提案する。 我々の理論解析は,ソフトセットを用いた$F_1$-Scoreなどの評価基準を最適化するために我々の手法を用いることの利点を示し,いくつかの領域におけるアプローチの有効性を示す。

関連論文リスト

• Aligning Multiclass Neural Network Classifier Criterion with Task Performance via $F_β$-Score [2.8583357090792703]
  マルチクラスニューラルネットワーク分類器は通常、クロスエントロピー損失を用いて訓練される。 クロスエントロピーの使用が、意図されたアプリケーション固有のパフォーマンス基準に適合する分類器が得られるかどうか疑問である。 提案手法は,マクロ-$F_beta$のソフトセットに基づく近似の最適化に利用できることを示す理論解析である。
  論文  参考訳（メタデータ） (2024-05-31T15:54:01Z)
• AnyLoss: Transforming Classification Metrics into Loss Functions [21.34290540936501]
  評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。 ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。 本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:14:16Z)
• What to Do When Your Discrete Optimization Is the Size of a Neural Network? [24.546550334179486]
  ニューラルネットワークを用いた機械学習アプリケーションは、離散最適化問題を解くことを含む。 離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークに対してうまくスケールしない。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。
  論文  参考訳（メタデータ） (2024-02-15T21:57:43Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Compare learning: bi-attention network for few-shot learning [6.559037166322981]
  距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。 本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T07:39:10Z)
• Meta-learning representations for clustering with infinite Gaussian mixture models [39.56814839510978]
  クラスタリング性能を向上させるためにニューラルネットワークを訓練するメタラーニング手法を提案する。 提案手法は,非ラベルデータとは異なるラベルデータを用いた知識メタ学習を用いて,未ラベルデータをクラスタ化することができる。
  論文  参考訳（メタデータ） (2021-03-01T02:05:31Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。