論文の概要: Generalization in Deep Learning
- arxiv url: http://arxiv.org/abs/1710.05468v9
- Date: Tue, 22 Aug 2023 03:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-03 21:41:27.657928
- Title: Generalization in Deep Learning
- Title(参考訳): ディープラーニングの一般化
- Authors: Kenji Kawaguchi, Leslie Pack Kaelbling, Yoshua Bengio
- Abstract要約: 本稿では,その容量,複雑性,アルゴリズムの不安定性,非破壊性,およびシャープなミニマにもかかわらず,ディープラーニングがなぜ,どのように一般化できるかに関する理論的知見を提供する。
また、ディープラーニングのための非空でない一般化保証を提供するためのアプローチについても論じる。
- 参考スコア(独自算出の注目度): 103.91623583928852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides theoretical insights into why and how deep learning can
generalize well, despite its large capacity, complexity, possible algorithmic
instability, nonrobustness, and sharp minima, responding to an open question in
the literature. We also discuss approaches to provide non-vacuous
generalization guarantees for deep learning. Based on theoretical observations,
we propose new open problems and discuss the limitations of our results.
- Abstract(参考訳): 本稿では,学習能力,複雑性,アルゴリズムの不安定性,非破壊性,および急激な最小性にもかかわらず,なぜ,どのようにディープラーニングが一般化できるかを理論的に考察する。
また,深層学習に対する非空在的な一般化保証を提供するためのアプローチについても論じる。
理論的な考察に基づき,新しいオープン問題を提案し,その限界について考察する。
関連論文リスト
- Soft Reasoning on Uncertain Knowledge Graphs [85.1968214421899]
本研究では,ソフト制約プログラミングの確立を動機とした,不確実な知識に対するソフトクエリの設定について検討する。
本稿では,大規模,不完全,不確実な知識グラフ上でのソフトクエリに応答する,前方推論と後方校正を併用したMLベースのアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-03T13:13:53Z) - Generalization Bounds: Perspectives from Information Theory and
PAC-Bayes [30.6461568538686]
PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化機能に対処するための柔軟なフレームワークとして確立されている。
一般化に関する情報理論的な視点が発達し、一般化と様々な情報手段の関係が確立された。
本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
論文 参考訳(メタデータ) (2023-09-08T15:23:40Z) - Theoretical Foundations of Adversarially Robust Learning [7.589246500826111]
現在の機械学習システムは、敵の例に対して脆弱であることが示されている。
この論文では、敵の例に対して、ロバストネス特性がどのような保証を期待できるかを論じる。
論文 参考訳(メタデータ) (2023-06-13T12:20:55Z) - Theoretical Perspectives on Deep Learning Methods in Inverse Problems [115.93934028666845]
我々は、生成前の先行、訓練されていないニューラルネットワークの先行、および展開アルゴリズムに焦点を当てる。
これらのトピックにおける既存の結果の要約に加えて、現在進行中の課題やオープンな問題も強調する。
論文 参考訳(メタデータ) (2022-06-29T02:37:50Z) - The Modern Mathematics of Deep Learning [8.939008609565368]
深層学習の数学的解析の新しい分野について述べる。
この分野は、古典的な学習理論の中では答えられなかった研究課題の一覧に現れている。
選択されたアプローチについては、主なアイデアをより詳細に説明します。
論文 参考訳(メタデータ) (2021-05-09T21:30:42Z) - NeurIPS 2020 Competition: Predicting Generalization in Deep Learning [0.0]
深層学習における一般化を理解することは、深層学習における最も重要な質問の1つである。
我々は,モデルの一般化を正確に予測できる複雑性尺度の提案をコミュニティに依頼する。
論文 参考訳(メタデータ) (2020-12-14T22:21:37Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳(メタデータ) (2020-10-22T17:54:25Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Provably Efficient Exploration for Reinforcement Learning Using
Unsupervised Learning [96.78504087416654]
強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。
本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-15T19:23:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。