論文の概要: Chi-square Loss for Softmax: an Echo of Neural Network Structure
- arxiv url: http://arxiv.org/abs/2108.13822v1
- Date: Tue, 31 Aug 2021 13:28:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 14:36:10.958229
- Title: Chi-square Loss for Softmax: an Echo of Neural Network Structure
- Title（参考訳）: softmaxのためのchi-square loss:ニューラルネットワーク構造のエコー
- Authors: Zeyu Wang and Meiqing Wang
- Abstract要約: クロスエントロピーを用いたソフトマックスは、2つの離散分布列(予測と真のラベル)の類似性を評価する分類において広く用いられている。
カイ二乗検定にインスパイアされた我々は,ソフトマックスでも機能するカイ二乗検定という新たな損失関数を設計した。
- 参考スコア（独自算出の注目度）: 3.0746419865793087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Softmax working with cross-entropy is widely used in classification, which
evaluates the similarity between two discrete distribution columns (predictions
and true labels). Inspired by chi-square test, we designed a new loss function
called chi-square loss, which is also works for Softmax. Chi-square loss has a
statistical background. We proved that it is unbiased in optimization, and
clarified its using conditions (its formula determines that it must work with
label smoothing). In addition, we studied the sample distribution of this loss
function by visualization and found that the distribution is related to the
neural network structure, which is distinct compared to cross-entropy. In the
past, the influence of structure was often ignored when visualizing. Chi-square
loss can notice changes in neural network structure because it is very strict,
and we explained the reason for this strictness. We also studied the influence
of label smoothing and discussed the relationship between label smoothing and
training accuracy and stability. Since the chi-square loss is very strict, the
performance will degrade when dealing samples of very many classes.
- Abstract（参考訳）: クロスエントロピーを扱うソフトマックスは、2つの離散分布列(予測と真のラベル)の類似性を評価する分類において広く用いられている。
chi-square testに触発されて、私たちはchi-square lossと呼ばれる新しい損失関数を設計しました。
チ平方損失には統計的な背景がある。
我々は最適化に偏らないことを証明し、その使用条件を明確にした(its公式はラベル平滑化で動作する必要があると判断する)。
さらに,この損失関数のサンプル分布を可視化し,その分布が交叉エントロピーと異なるニューラルネットワーク構造と関連していることを確認した。
過去には、構造の影響は視覚的に無視されることが多かった。
カイ二乗損失は、非常に厳密なニューラルネットワーク構造の変化に気づく可能性があり、この厳密さの理由を説明した。
また,ラベル平滑化の影響について検討し,ラベル平滑化とトレーニング精度,安定性の関係を検討した。
chi-squareの損失は非常に厳しいため、非常に多くのクラスのサンプルを扱う場合、パフォーマンスは低下する。
関連論文リスト
- All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳（メタデータ） (2023-05-25T08:19:31Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文 参考訳（メタデータ） (2022-05-12T04:37:35Z) - Understanding Square Loss in Training Overparametrized Neural Network
Classifiers [31.319145959402462]
過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。
クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。
結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
論文 参考訳（メタデータ） (2021-12-07T12:12:30Z) - Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。
クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。
我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
論文 参考訳（メタデータ） (2021-07-31T09:40:23Z) - SoftHebb: Bayesian inference in unsupervised Hebbian soft
winner-take-all networks [1.125159338610819]
入賞者全員(WTA)ネットワークにおけるヘビアン学習は、教師されず、フィードフォワードであり、生物学的に妥当である。
我々は、生物学的に可塑性だが汎用的なANN要素に基づいて、そのような理論を正式に導出する。
我々は実際に我々の理論を確認し、手書き桁(MNIST)認識において、ヘビアンアルゴリズムであるSoftHebbは、それにアクセスすることなくクロスエントロピーを最小化する。
論文 参考訳（メタデータ） (2021-07-12T21:34:45Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-05T02:25:23Z) - Evaluation of Neural Architectures Trained with Square Loss vs
Cross-Entropy in Classification Tasks [23.538629997497747]
クロスエントロピー損失は、分類タスクの平方損失よりも経験的に優れていると広く信じられている。
これらのニューラルネットワークアーキテクチャは、正方形損失をトレーニングした場合に、相容れないか、より良く機能することを示す。
クロスエントロピーはコンピュータビジョンのタスクに多少の限界があるようだ。
論文 参考訳（メタデータ） (2020-06-12T17:00:49Z) - Residual Correlation in Graph Neural Network Regression [39.54530450932135]
我々は条件付き独立仮定が予測力を著しく制限していることを示します。
この問題を解釈可能かつ効率的なフレームワークで解決する。
我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
論文 参考訳（メタデータ） (2020-02-19T16:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。