論文の概要: Transgressing the boundaries: towards a rigorous understanding of deep
learning and its (non-)robustness
- arxiv url: http://arxiv.org/abs/2307.02454v1
- Date: Wed, 5 Jul 2023 17:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 12:45:47.653822
- Title: Transgressing the boundaries: towards a rigorous understanding of deep
learning and its (non-)robustness
- Title（参考訳）: 境界を超越する: 深層学習の厳密な理解と(非)難解性に向けて
- Authors: Carsten Hartmann, Lorenz Richter
- Abstract要約: 様々な分野のアプリケーションにおける機械学習の最近の進歩は、ディープラーニング(DL)メソッドとアーキテクチャの台頭によるものである。
自動運転車、画像処理、音声認識などの背後にある重要な技術であるにもかかわらず、DLの理論的理解の欠如は悪名高い問題である。
- 参考スコア（独自算出の注目度）: 3.1219977244201056
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recent advances in machine learning in various fields of applications can
be largely attributed to the rise of deep learning (DL) methods and
architectures. Despite being a key technology behind autonomous cars, image
processing, speech recognition, etc., a notorious problem remains the lack of
theoretical understanding of DL and related interpretability and (adversarial)
robustness issues. Understanding the specifics of DL, as compared to, say,
other forms of nonlinear regression methods or statistical learning, is
interesting from a mathematical perspective, but at the same time it is of
crucial importance in practice: treating neural networks as mere black boxes
might be sufficient in certain cases, but many applications require waterproof
performance guarantees and a deeper understanding of what could go wrong and
why it could go wrong. It is probably fair to say that, despite being
mathematically well founded as a method to approximate complicated functions,
DL is mostly still more like modern alchemy that is firmly in the hands of
engineers and computer scientists. Nevertheless, it is evident that certain
specifics of DL that could explain its success in applications demands
systematic mathematical approaches. In this work, we review robustness issues
of DL and particularly bridge concerns and attempts from approximation theory
to statistical learning theory. Further, we review Bayesian Deep Learning as a
means for uncertainty quantification and rigorous explainability.
- Abstract（参考訳）: 様々な分野のアプリケーションにおける機械学習の最近の進歩は、ディープラーニング(DL)メソッドとアーキテクチャの台頭に大きく影響している。
自動運転車、画像処理、音声認識などを支える重要な技術であるにもかかわらず、dlの理論的理解と関連する解釈可能性、そして(逆)堅牢性の問題の欠如が、悪名高い問題である。
dlの特質を理解することは、例えば、他の非線形回帰法や統計的学習と比べ、数学的観点からは興味深いが、同時に、実際に重要なものである: ニューラルネットワークを単なるブラックボックスとして扱うのは、あるケースでは十分かもしれないが、多くのアプリケーションは、防水性能保証を必要とし、何がうまくいかないのか、なぜそれがうまくいかないのかを深く理解する必要がある。
複雑な関数を近似する方法として数学的に十分に確立されているにもかかわらず、DLはいまだにエンジニアやコンピュータ科学者の手に委ねられている現代の錬金術に近いものだと言えよう。
それにもかかわらず、アプリケーションでその成功を説明することができる特定のDLは、体系的な数学的アプローチを必要とすることは明らかである。
本稿では,dlのロバスト性問題,特に近似理論から統計的学習理論への橋渡しと試みについて考察する。
さらに、不確実性定量化と厳密な説明可能性の手段としてベイズ深層学習を概観する。
関連論文リスト
- Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。
根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。
最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
論文 参考訳（メタデータ） (2024-08-12T15:02:26Z) - Mathematical Algorithm Design for Deep Learning under Societal and
Judicial Constraints: The Algorithmic Transparency Requirement [65.26723285209853]
計算モデルにおける透過的な実装が実現可能かどうかを分析するための枠組みを導出する。
以上の結果から,Blum-Shub-Smale Machinesは,逆問題に対する信頼性の高い解法を確立できる可能性が示唆された。
論文 参考訳（メタデータ） (2024-01-18T15:32:38Z) - Applying statistical learning theory to deep learning [21.24637996678039]
これらの講義の目的は、深層学習を理解しようとするときに生じる主な疑問の概要を提供することである。
良心過剰の文脈における暗黙の偏見について論じる。
本稿では, 線形対角線ネットワーク上での勾配降下の暗黙的バイアスを, 様々な回帰タスクに対して詳細に検討する。
論文 参考訳（メタデータ） (2023-11-26T20:00:53Z) - Dual Box Embeddings for the Description Logic EL++ [16.70961576041243]
知識グラフ(KG)と同様に、知識グラフはしばしば不完全であり、それらの維持と構築は困難であることが証明された。
KGsと同様に、有望なアプローチは、潜在ベクトル空間への埋め込みを学習し、基礎となるDLのセマンティクスに固執することである。
そこで本研究では,概念と役割をボックスとして表現した,DL EL++用のBox$2$ELという新しいオントロジー埋め込み手法を提案する。
論文 参考訳（メタデータ） (2023-01-26T14:13:37Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Scalable approach to many-body localization via quantum data [69.3939291118954]
多体局在は、量子多体物理学の非常に難しい現象である。
計算コストの高いステップを回避できるフレキシブルニューラルネットワークベースの学習手法を提案する。
我々のアプローチは、量子多体物理学の新たな洞察を提供するために、大規模な量子実験に適用することができる。
論文 参考訳（メタデータ） (2022-02-17T19:00:09Z) - A Reflection on Learning from Data: Epistemology Issues and Limitations [1.8047694351309205]
本稿では,データから得られた知識の問題点と限界について考察する。
この論文は、一般的な数学的理論を用いてプロセスを記述する際の欠点について、いくつかの光を当てている。
さらに、データから学ぶことに特化した理論の必要性を強調している。
論文 参考訳（メタデータ） (2021-07-28T11:05:34Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳（メタデータ） (2021-03-08T23:10:33Z) - Semantics of the Black-Box: Can knowledge graphs help make deep learning
systems more interpretable and explainable? [4.2111286819721485]
近年のディープラーニング(DL)の革新は、個人や社会に大きな影響を与える可能性がある。
DLモデルのブラックボックスの性質と大量のデータへの過度依存は、システムの解釈可能性と説明可能性に課題をもたらす。
本稿では,知識グラフとして提供される知識が,知識注入学習を用いたDL手法にどのように組み込まれているかを示す。
論文 参考訳（メタデータ） (2020-10-16T22:55:23Z) - Deep Q-Learning: Theoretical Insights from an Asymptotic Analysis [3.9871041399267613]
ディープQラーニングは、よく知られたQ関数を近似するためにディープニューラルネットワークをトレーニングする、重要な強化学習アルゴリズムである。
実験室では非常に成功したが、理論と実践の深刻なギャップと正式な保証の欠如が現実世界での使用を妨げている。
本稿では、現実的な検証可能な仮定の下で、Deep Q-Learningの一般的なバージョンに関する理論的解析を行う。
論文 参考訳（メタデータ） (2020-08-25T07:59:20Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。