Fugu-MT 論文翻訳(概要): Convergence rates of deep ReLU networks for multiclass classification

論文の概要: Convergence rates of deep ReLU networks for multiclass classification

arxiv url: http://arxiv.org/abs/2108.00969v1
Date: Mon, 2 Aug 2021 15:14:12 GMT
ステータス: 処理完了
システム内更新日: 2021-08-03 14:52:40.443558
Title: Convergence rates of deep ReLU networks for multiclass classification
Title（参考訳）: 多クラス分類のための深部ReLUネットワークの収束率
Authors: Thijs Bos and Johannes Schmidt-Hieber
Abstract要約: 本研究では、学習された確率の真の条件付きクラス確率への収束について研究する。より具体的には、マルチクラス分類設定におけるクロスエントロピー損失を最小限に抑えるために、スパースディープReLUネットワーク再構成を検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For classification problems, trained deep neural networks return probabilities of class memberships. In this work we study convergence of the learned probabilities to the true conditional class probabilities. More specifically we consider sparse deep ReLU network reconstructions minimizing cross-entropy loss in the multiclass classification setup. Interesting phenomena occur when the class membership probabilities are close to zero. Convergence rates are derived that depend on the near-zero behaviour via a margin-type condition.
Abstract（参考訳）: 分類問題では、訓練されたディープニューラルネットワークがクラスメンバーシップの確率を返す。本研究では,学習確率の真の条件クラス確率への収束について検討する。より具体的には、マルチクラス分類設定におけるクロスエントロピー損失を最小化する疎密なディープreluネットワーク再構成を考える。興味ある現象は、クラスメンバーシップ確率が0に近いときに起こる。収束率は、マージン型条件を介してゼロに近い挙動に依存する。

関連論文リスト

Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
論文参考訳（メタデータ） (2024-04-10T15:16:04Z)
Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-02-23T09:43:58Z)
Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文参考訳（メタデータ） (2024-01-08T23:54:46Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC [66.71660672526349]
部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
論文参考訳（メタデータ） (2022-03-28T14:33:21Z)
Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文参考訳（メタデータ） (2022-03-17T04:34:28Z)
Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
線形分類問題に対する最大マージン分類器の現象について検討する。その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
論文参考訳（メタデータ） (2021-04-28T08:25:16Z)
Intra-Class Uncertainty Loss Function for Classification [6.523198497365588]
特にアンバランスクラスを含むデータセットでは、クラス内の不確実性/可変性は考慮されない。本フレームワークでは,各クラスの深いネットワークによって抽出された特徴を,独立なガウス分布によって特徴付ける。提案手法は,より優れたクラス表現を学習することで,分類性能の向上を示す。
論文参考訳（メタデータ） (2021-04-12T09:02:41Z)
Quantile regression with deep ReLU Networks: Estimators and minimax rates [4.522666263036413]
線形整流ユニット(ReLU)ニューラルネットワークを用いた量子レグレッションについて検討する。 ReLUネットワークの期待平均2乗誤差の上限を導出する。これらの厳密な境界は、量子レグレッションを持つReLUネットワークが、関数型の広いコレクションに対して最小値の速度を達成することを示唆している。
論文参考訳（メタデータ） (2020-10-16T08:34:04Z)
Cautious Active Clustering [79.23797234241471]
ユークリッド空間上の未知の確率測度からサンプリングされた点の分類の問題を考える。我々のアプローチは、未知の確率測度を、各クラスに対する条件付き確率の凸結合として考えることである。
論文参考訳（メタデータ） (2020-08-03T23:47:31Z)
Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
論文参考訳（メタデータ） (2020-07-20T05:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。