論文の概要: Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization

• arxiv url: http://arxiv.org/abs/2408.06212v1
• Date: Mon, 12 Aug 2024 15:02:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 14:05:56.862258
• Title: Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization
• Title（参考訳）: 分類と深層学習の計算可能性:理論限界から量子化による実用可能性へ
• Authors: Holger Boche, Vit Fojtik, Adalbert Fono, Gitta Kutyniok,
• Abstract要約: ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
• 参考スコア（独自算出の注目度）: 53.15874572081944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The unwavering success of deep learning in the past decade led to the increasing prevalence of deep learning methods in various application fields. However, the downsides of deep learning, most prominently its lack of trustworthiness, may not be compatible with safety-critical or high-responsibility applications requiring stricter performance guarantees. Recently, several instances of deep learning applications have been shown to be subject to theoretical limitations of computability, undermining the feasibility of performance guarantees when employed on real-world computers. We extend the findings by studying computability in the deep learning framework from two perspectives: From an application viewpoint in the context of classification problems and a general limitation viewpoint in the context of training neural networks. In particular, we show restrictions on the algorithmic solvability of classification problems that also render the algorithmic detection of failure in computations in a general setting infeasible. Subsequently, we prove algorithmic limitations in training deep neural networks even in cases where the underlying problem is well-behaved. Finally, we end with a positive observation, showing that in quantized versions of classification and deep network training, computability restrictions do not arise or can be overcome to a certain degree.
• Abstract（参考訳）: 過去10年間のディープラーニングの成功は、様々な分野におけるディープラーニング手法の普及に繋がった。 しかし、ディープラーニングの欠点、特に信頼性の欠如は、より厳格なパフォーマンス保証を必要とする安全クリティカルなアプリケーションや高責任なアプリケーションと互換性がない可能性がある。 近年,Deep Learning アプリケーションのいくつかの例は,計算可能性に関する理論的制限の対象となり,実世界のコンピュータでの使用による性能保証の実現性を損なうことが示されている。 我々は、ディープラーニングフレームワークにおける計算可能性について、2つの視点から研究する:分類問題の文脈における応用的視点と、ニューラルネットワークのトレーニングの文脈における一般的な制限的視点から。 特に,計算における故障検出のアルゴリズム的検出を不可能とする分類問題のアルゴリズム的解法性に対する制約を示す。 その後、根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を証明した。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。

関連論文リスト

• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications [1.9671123873378717]
  ディープニューラルネットワークの不確実性は、解釈可能性と透明性の感覚において重要であるだけでなく、パフォーマンスをさらに向上するためにも重要であることを示す。 我々は、ディープニューラルネットワークの不確実性の定義を、入力またはインプットラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさをディープモデルから「マイニングに関する既存の方法」をカタログ化する。
  論文  参考訳（メタデータ） (2023-02-02T22:02:33Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration [12.05471394131891]
  我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。 我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-01T21:16:34Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Learning for Integer-Constrained Optimization through Neural Networks with Limited Training [28.588195947764188]
  我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。 整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。 提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T21:17:07Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。