論文の概要: Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss

• arxiv url: http://arxiv.org/abs/2309.06774v1
• Date: Wed, 13 Sep 2023 07:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 14:59:27.945568
• Title: Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss
• Title（参考訳）: ヒンジ損失を訓練した深層学習型バイナリ分類器の基本限界
• Authors: Tilahun M. Getu, Georges Kaddoum
• Abstract要約: 深層学習 (DL) は、化学、計算機科学、電気工学、数学、医学、神経科学、物理学など、様々な分野においていくつかのブレークスルーをもたらした。 DLの実証的な成功の裏にある謎を解明するために、DLの統一理論への重要な革新が行われた。 パターン分類問題の解決に使用されるDLベースのアルゴリズムのテスト性能を定量化する手段を提供していない。
• 参考スコア（独自算出の注目度）: 24.75388846130657
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although deep learning (DL) has led to several breakthroughs in many disciplines as diverse as chemistry, computer science, electrical engineering, mathematics, medicine, neuroscience, and physics, a comprehensive understanding of why and how DL is empirically successful remains fundamentally elusive. To attack this fundamental problem and unravel the mysteries behind DL's empirical successes, significant innovations toward a unified theory of DL have been made. These innovations encompass nearly fundamental advances in optimization, generalization, and approximation. Despite these advances, however, no work to date has offered a way to quantify the testing performance of a DL-based algorithm employed to solve a pattern classification problem. To overcome this fundamental challenge in part, this paper exposes the fundamental testing performance limits of DL-based binary classifiers trained with hinge loss. For binary classifiers that are based on deep rectified linear unit (ReLU) feedforward neural networks (FNNs) and ones that are based on deep FNNs with ReLU and Tanh activation, we derive their respective novel asymptotic testing performance limits. The derived testing performance limits are validated by extensive computer experiments.
• Abstract（参考訳）: 深層学習(DL)は、化学、計算機科学、電気工学、数学、医学、神経科学、物理学など様々な分野においていくつかのブレークスルーをもたらしてきたが、なぜDLが経験的に成功するのかを包括的に理解することは、依然として根底から解明されている。 この根本的な問題に対処し、DLの実証的な成功の裏にある謎を解明するために、DLの統一理論への重要な革新がなされた。 これらの革新は最適化、一般化、近似のほぼ基本的な進歩を包含している。 しかし、これらの進歩にもかかわらず、パターン分類の問題を解決するために使われるDLベースのアルゴリズムのテスト性能を定量化する方法を提供していない。 この根本的な課題を克服するため,本稿では,ヒンジ損失で訓練されたdlベースのバイナリ分類器の基本的なテスト性能の限界を明らかにする。 深部修正線形単位(ReLU)フィードフォワードニューラルネットワーク(FNN)に基づくバイナリ分類器と、ReLUおよびTanhアクティベーションを持つ深部FNNに基づくバイナリ分類器について、それぞれの新しい漸近試験性能限界を導出する。 得られた試験性能限界は、広範なコンピュータ実験によって検証される。

関連論文リスト

• Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
  ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:02:26Z)
• Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
  AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。 本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。 これにより、損失関数の項数は標準のPINN損失よりも減少する。
  論文  参考訳（メタデータ） (2024-07-30T11:19:48Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Deep Transform and Metric Learning Networks [30.753361147185995]
  本稿では,リニア層とリカレントニューラルネットワークの組み合わせとして,各dl層を定式化し,解くことができる新しい深層dl手法を提案する。 ニューラル・ネットワークとディープ・DLの新たな知見を明らかにし、ディープ・トランスフォーメーションとメトリクスを共同学習する斬新で効率的で競争的なアプローチを提供します。
  論文  参考訳（メタデータ） (2021-04-21T03:10:15Z)
• A Lagrangian Dual-based Theory-guided Deep Neural Network [0.0]
  The Lagrangian dual-based TgNN (TgNN-LD) is proposed to improve the effective of TgNN。 実験により、ラグランジアン双対ベースTgNNの優位性が示された。
  論文  参考訳（メタデータ） (2020-08-24T02:06:19Z)
• Online Kernel based Generative Adversarial Networks [0.45880283710344055]
  オンラインカーネルベースのジェネレーティブ・アドバイザリアル・ネットワーク(OKGAN)は,モード崩壊やサイクリングなど,多くのトレーニング問題を緩和する。 OKGANは、合成データ上の他のGANの定式化よりも、逆KL偏差に対して、劇的に優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-06-19T22:54:01Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。