論文の概要: Mixing between the Cross Entropy and the Expectation Loss Terms

• arxiv url: http://arxiv.org/abs/2109.05635v1
• Date: Sun, 12 Sep 2021 23:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:16:29.147659
• Title: Mixing between the Cross Entropy and the Expectation Loss Terms
• Title（参考訳）: 交差エントロピーと期待損失項の混合
• Authors: Barak Battash, Lior Wolf, Tamir Hazan
• Abstract要約: クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
• 参考スコア（独自算出の注目度）: 89.30385901335323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The cross entropy loss is widely used due to its effectiveness and solid theoretical grounding. However, as training progresses, the loss tends to focus on hard to classify samples, which may prevent the network from obtaining gains in performance. While most work in the field suggest ways to classify hard negatives, we suggest to strategically leave hard negatives behind, in order to focus on misclassified samples with higher probabilities. We show that adding to the optimization goal the expectation loss, which is a better approximation of the zero-one loss, helps the network to achieve better accuracy. We, therefore, propose to shift between the two losses during training, focusing more on the expectation loss gradually during the later stages of training. Our experiments show that the new training protocol improves performance across a diverse set of classification domains, including computer vision, natural language processing, tabular data, and sequences. Our code and scripts are available at supplementary.
• Abstract（参考訳）: クロスエントロピー損失は、その有効性と固い理論的な接地により広く利用されている。 しかしながら、トレーニングが進むにつれて、損失はサンプルの分類が難しくなる傾向にあり、ネットワークのパフォーマンス向上を妨げる可能性がある。 この分野のほとんどの研究は、ハードネガティブを分類する方法を提案するが、高い確率で誤分類されたサンプルに焦点を当てるために、戦略的にハードネガティブを置き去りにすることを提案する。 最適化目標に期待損失を加えることで、ゼロワン損失の近似性が向上し、ネットワークの精度が向上することを示す。 そこで,本研究では,トレーニングの後半段階での期待損失に着目して,トレーニング中の2つの損失間のシフトを提案する。 実験により,コンピュータビジョン,自然言語処理,表形式データ,シーケンスなど,さまざまな分類領域における新たなトレーニングプロトコルの性能向上が示された。 私たちのコードとスクリプトは補足で利用可能です。

関連論文リスト

• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Contrastive Classification and Representation Learning with Probabilistic Interpretation [5.979778557940212]
  クロスエントロピー損失は、分類に基づくタスクの主目的関数として機能している。 ネットワークの分類器とバックボーンのパラメータを協調的に学習する教師付きコントラスト訓練の新バージョンを提案する。
  論文  参考訳（メタデータ） (2022-11-07T15:57:24Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Striking the Right Balance: Recall Loss for Semantic Segmentation [24.047359482606307]
  クラス不均衡は、セマンティックセグメンテーションのようなコンピュータビジョンアプリケーションにおける基本的な問題である。 我々は,バニラクロスエントロピー損失を変形させることにより,ハードクラスの鉱業損失を提案する。 本研究では, 標準クロスエントロピー損失と逆周波数重み付き損失との間に, 新たなリコール損失が徐々に変化することを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:02:03Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• Step-Ahead Error Feedback for Distributed Training with Compressed Gradient [99.42912552638168]
  集中型分散トレーニングにおける局所的エラーフィードバックによって,新たな"段階的ミスマッチ"問題が発生することを示す。 本稿では, 厳密な理論的解析を施した2つの新しい手法, 1) 一歩前進, 2) 誤差平均化を提案する。
  論文  参考訳（メタデータ） (2020-08-13T11:21:07Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。