論文の概要: Universal Training of Neural Networks to Achieve Bayes Optimal Classification Accuracy

• arxiv url: http://arxiv.org/abs/2501.07754v1
• Date: Mon, 13 Jan 2025 23:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:25:47.946302
• Title: Universal Training of Neural Networks to Achieve Bayes Optimal Classification Accuracy
• Title（参考訳）: ニューラルネットワークの最適分類精度向上のためのユニバーサルトレーニング
• Authors: Mohammadreza Tavasoli Naeini, Ali Bereyhi, Morteza Noshad, Ben Liang, Alfred O. Hero III,
• Abstract要約: ベイズ誤り率を達成するために,最小化によって分類モデルを適用したベイズ最適学習閾値(BOLT)の損失を導入する。 数値実験により、BOLTで訓練されたモデルが、クロスエントロピーのモデルと同等以上の性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 27.092821207089067
• License:
• Abstract: This work invokes the notion of $f$-divergence to introduce a novel upper bound on the Bayes error rate of a general classification task. We show that the proposed bound can be computed by sampling from the output of a parameterized model. Using this practical interpretation, we introduce the Bayes optimal learning threshold (BOLT) loss whose minimization enforces a classification model to achieve the Bayes error rate. We validate the proposed loss for image and text classification tasks, considering MNIST, Fashion-MNIST, CIFAR-10, and IMDb datasets. Numerical experiments demonstrate that models trained with BOLT achieve performance on par with or exceeding that of cross-entropy, particularly on challenging datasets. This highlights the potential of BOLT in improving generalization.
• Abstract（参考訳）: この研究は、一般的な分類タスクのベイズ誤差率に新しい上限を導入するために$f$-divergenceという概念を呼び起こす。 パラメータ化モデルの出力をサンプリングすることにより,提案した境界を計算可能であることを示す。 この実践的解釈を用いて,ベイズ誤り率を達成するために,最小化によって分類モデルを適用したベイズ最適学習閾値(BOLT)の損失を導入する。 我々は,MNIST,Fashion-MNIST,CIFAR-10,IMDbデータセットを考慮し,画像とテキストの分類タスクの損失を検証した。 数値実験により、BOLTでトレーニングされたモデルは、特に挑戦的なデータセットにおいて、クロスエントロピーと同程度またはそれ以上のパフォーマンスを達成することが示された。 これは、BOLTが一般化を改善する可能性を強調している。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Bayesian Layer Graph Convolutioanl Network for Hyperspetral Image Classification [24.91896527342631]
  グラフ畳み込みネットワーク(GCN)ベースのモデルは、素晴らしいパフォーマンスを示している。 点推定に基づくディープラーニングフレームワークは、一般化が低く、分類結果の不確実性を定量化できない。 本稿では,点推定に基づくニューラルネットワークへの挿入層としてベイズ的アイデアを用いたベイズ的層を提案する。 HSIデータセットのサンプル不均衡問題を解決するためにGAN(Generative Adversarial Network)が構築されている。
  論文  参考訳（メタデータ） (2022-11-14T12:56:56Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
  分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。 我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。 我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
  論文  参考訳（メタデータ） (2022-02-01T13:22:26Z)
• Influential Rank: A New Perspective of Post-training for Robust Model against Noisy Labels [23.80449026013167]
  本稿では,雑音ラベル(LNL)からポストトレーニングを通じて学習する新しい手法を提案する。 我々は、トレーニングされたモデルの過度な適合性を利用して、誤ラベルされたサンプルを識別する。 我々のポストトレーニングアプローチは、既存のLNL法と組み合わせることで大きなシナジーを生み出す。
  論文  参考訳（メタデータ） (2021-06-14T08:04:18Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation [37.054709598792165]
  このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。 ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。 テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
  論文  参考訳（メタデータ） (2020-07-27T12:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。