論文の概要: Pairwise Margin Maximization for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2110.04519v1
• Date: Sat, 9 Oct 2021 09:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:39:01.365608
• Title: Pairwise Margin Maximization for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのためのペアワイズマージン最大化
• Authors: Berry Weinstein, Shai Fine, Yacov Hel-Or
• Abstract要約: 重量減衰正則化項は、訓練中に表現性を制限し、過度な適合を回避し、一般化を改善するために広く用いられる。 予測分類が切り替わるまでインスタンスの最小変位量を計測するPMM(em Pairwise Margin Maximization)と呼ばれる新しい正規化手法を提案する。 我々は,PMMを用いたディープニューラルネットワークのトレーニングにおいて,標準正規化条件と比較して,経験的に大幅に改善したことを示す。
• 参考スコア（独自算出の注目度）: 2.696411477487268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The weight decay regularization term is widely used during training to constrain expressivity, avoid overfitting, and improve generalization. Historically, this concept was borrowed from the SVM maximum margin principle and extended to multi-class deep networks. Carefully inspecting this principle reveals that it is not optimal for multi-class classification in general, and in particular when using deep neural networks. In this paper, we explain why this commonly used principle is not optimal and propose a new regularization scheme, called {\em Pairwise Margin Maximization} (PMM), which measures the minimal amount of displacement an instance should take until its predicted classification is switched. In deep neural networks, PMM can be implemented in the vector space before the network's output layer, i.e., in the deep feature space, where we add an additional normalization term to avoid convergence to a trivial solution. We demonstrate empirically a substantial improvement when training a deep neural network with PMM compared to the standard regularization terms.
• Abstract（参考訳）: 重量減衰正則化項は、訓練中に表現性を制限し、過度な適合を回避し、一般化を改善するために広く用いられる。 歴史的に、この概念はSVMの最大利幅原理から借用され、マルチクラスのディープネットワークに拡張された。 この原理を慎重に検査すると、一般的にはマルチクラス分類、特にディープニューラルネットワークの使用には最適ではないことが分かる。 本稿では、この原則が最適でない理由を説明し、予測された分類が切り替わるまでインスタンスが取るべき最小変位量を計測する新しい正規化スキームである {\em Pairwise Margin Maximization} (PMM)を提案する。 ディープニューラルネットワークでは、pmmはネットワークの出力層、すなわちディープ特徴空間の前にベクトル空間に実装することができ、自明な解への収束を避けるために追加の正規化項を追加する。 標準正規化項と比較して,pmmを用いた深層ニューラルネットワークのトレーニングにおいて,実証的な改善が見られた。

関連論文リスト

• On Generalization Bounds for Neural Networks with Low Rank Layers [4.2954245208408866]
  深いネットワークにおける低ランク層がどのように階数や次元因子の蓄積を防げるかを解析するために、モーラーの鎖則をガウス複雑性に適用する。 この結果と,低ランク層を有するディープネットワークがフルランク層を有するディープネットワークよりも優れた一般化を実現できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T22:20:47Z)
• Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
  我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。 本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T15:55:05Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。