論文の概要: Recent Advances in Large Margin Learning

• arxiv url: http://arxiv.org/abs/2103.13598v1
• Date: Thu, 25 Mar 2021 04:12:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:46:02.898578
• Title: Recent Advances in Large Margin Learning
• Title（参考訳）: 大規模マージン学習の最近の進歩
• Authors: Yiwen Guo, Changshui Zhang
• Abstract要約: 本稿では,(非線形)深層ニューラルネットワーク(dnn)のための大規模マージントレーニングとその理論的基礎の最近の進歩に関する調査を行う。 古典研究から最新のDNNへの分類マージンの策定を一般化し、マージン、ネットワーク一般化、堅牢性の間の理論的関連性をまとめ、最近のDNNのマージン拡大の取り組みを総合的に紹介します。
• 参考スコア（独自算出の注目度）: 63.982279380483526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper serves as a survey of recent advances in large margin training and its theoretical foundations, mostly for (nonlinear) deep neural networks (DNNs) that are probably the most prominent machine learning models for large-scale data in the community over the past decade. We generalize the formulation of classification margins from classical research to latest DNNs, summarize theoretical connections between the margin, network generalization, and robustness, and introduce recent efforts in enlarging the margins for DNNs comprehensively. Since the viewpoint of different methods is discrepant, we categorize them into groups for ease of comparison and discussion in the paper. Hopefully, our discussions and overview inspire new research work in the community that aim to improve the performance of DNNs, and we also point to directions where the large margin principle can be verified to provide theoretical evidence why certain regularizations for DNNs function well in practice. We managed to shorten the paper such that the crucial spirit of large margin learning and related methods are better emphasized.
• Abstract（参考訳）: この論文は、大規模なマージントレーニングの最近の進歩とその理論的基盤に関する調査であり、主に(非線形)ディープニューラルネットワーク(DNN)のためのものであり、おそらくこの10年でコミュニティで大規模データのための最も顕著な機械学習モデルである。 古典研究から最新のDNNへの分類マージンの定式化を一般化し、マージン、ネットワークの一般化、ロバストネスの理論的関係を要約し、DNNのマージンを包括的に拡大する最近の取り組みを紹介する。 異なる手法の視点は相違するので,本論文では,比較や議論の容易さのためにグループに分類する。 今後,DNNの性能向上をめざしたコミュニティにおける新たな研究成果が期待でき,また,DNNの一定の正規化が実際にどのように機能するかを理論的根拠として,大きなマージン原理を検証できる方向も指している。 我々は、大きなマージン学習と関連する手法の重要精神がより強調されるように、論文の短縮に成功しました。

関連論文リスト

• Piecewise Linear Neural Networks and Deep Learning [27.02556725989978]
  PieceWise Linear Neural Networks (PWLNN) は様々な分野で成功している。 1977年、標準表現は、漸進的な設計から学んだ浅いPWLNNの研究の先駆者となった。 2010年、Rectified Linear Unit (ReLU) は深層学習におけるPWLNNの普及を提唱した。
  論文  参考訳（メタデータ） (2022-06-18T08:41:42Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Subgroup Generalization and Fairness of Graph Neural Networks [12.88476464580968]
  非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。 さらに、理論的な観点から、GNNの精度(dis)パリティスタイル(un)フェアネスについて研究する。
  論文  参考訳（メタデータ） (2021-06-29T16:13:41Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Deep Neural Networks Are Congestion Games: From Loss Landscape to Wardrop Equilibrium and Beyond [12.622643370707328]
  我々の研究は、ディープニューラルネットワーク(DNN)を解析するための非常に有望な新しいツールを提供する、と我々は主張する。 前者を分析する際に、後者から利用できる古典的な結果の恩恵を受ける方法を示す。
  論文  参考訳（メタデータ） (2020-10-21T14:11:40Z)
• A Survey of Active Learning for Text Classification using Deep Neural Networks [1.2310316230437004]
  自然言語処理(NLP)とニューラルネットワーク(NN)はどちらも近年大きく変化している。 しかし、アクティブラーニング(AL)の目的のために、NNは、現在の人気にもかかわらず、あまり使われていない。
  論文  参考訳（メタデータ） (2020-08-17T12:53:20Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。