論文の概要: NeurIPS 2020 Competition: Predicting Generalization in Deep Learning

• arxiv url: http://arxiv.org/abs/2012.07976v1
• Date: Mon, 14 Dec 2020 22:21:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:40:39.584030
• Title: NeurIPS 2020 Competition: Predicting Generalization in Deep Learning
• Title（参考訳）: NeurIPS 2020コンペティション:ディープラーニングの一般化を予測
• Authors: Yiding Jiang (1), Pierre Foret (1), Scott Yak (1), Daniel M. Roy (2), Hossein Mobahi (1), Gintare Karolina Dziugaite (3), Samy Bengio (1), Suriya Gunasekar (4), Isabelle Guyon (5), Behnam Neyshabur (1) ((1) Google Research, (2) University of Toronto, (3) Element AI, (4) Microsoft Research, (5) University Paris-Saclay and ChaLearn)
• Abstract要約: 深層学習における一般化を理解することは、深層学習における最も重要な質問の1つである。 我々は,モデルの一般化を正確に予測できる複雑性尺度の提案をコミュニティに依頼する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding generalization in deep learning is arguably one of the most important questions in deep learning. Deep learning has been successfully adopted to a large number of problems ranging from pattern recognition to complex decision making, but many recent researchers have raised many concerns about deep learning, among which the most important is generalization. Despite numerous attempts, conventional statistical learning approaches have yet been able to provide a satisfactory explanation on why deep learning works. A recent line of works aims to address the problem by trying to predict the generalization performance through complexity measures. In this competition, we invite the community to propose complexity measures that can accurately predict generalization of models. A robust and general complexity measure would potentially lead to a better understanding of deep learning's underlying mechanism and behavior of deep models on unseen data, or shed light on better generalization bounds. All these outcomes will be important for making deep learning more robust and reliable.
• Abstract（参考訳）: ディープラーニングにおける一般化を理解することは、深層学習において最も重要な質問の1つだろう。 ディープラーニングは、パターン認識から複雑な意思決定に至るまで、多くの問題にうまく採用されているが、最近の多くの研究者は、ディープラーニングに関する多くの懸念を提起している。 多くの試みにもかかわらず、従来の統計的学習アプローチは、なぜディープラーニングが機能するのかを十分に説明できない。 最近の研究は,複雑性尺度による一般化性能の予測を試みることで,この問題に対処しようとするものである。 このコンペティションでは,モデルの一般化を正確に予測する複雑性対策をコミュニティに提案する。 堅牢で一般的な複雑性尺度は、深層学習の根底にあるメカニズムと、未知のデータに対する深いモデルの振る舞いをよりよく理解するか、あるいはより良い一般化の境界に光を当てる可能性がある。 これらの結果はすべて、ディープラーニングをより堅牢で信頼性の高いものにするために重要です。

関連論文リスト

• A Survey Analyzing Generalization in Deep Reinforcement Learning [14.141453107129403]
  深層強化学習における一般化の形式化と分析を行う。 より深い強化学習政策が、一般化能力を制限する過度に適合する問題に直面する根本的な理由を説明します。
  論文  参考訳（メタデータ） (2024-01-04T16:45:01Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Generalization Through the Lens of Learning Dynamics [11.009483845261958]
  機械学習(ML)システムは、デプロイ時に正確な予測を得るために、新しい状況に一般化することを学ぶ必要がある。 ディープニューラルネットワークの印象的な一般化性能は、理論家たちに悪影響を与えている。 この論文は、教師付き学習タスクと強化学習タスクの両方において、ディープニューラルネットワークの学習ダイナミクスを研究する。
  論文  参考訳（メタデータ） (2022-12-11T00:07:24Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• Deep Long-Tailed Learning: A Survey [163.16874896812885]
  ディープ・ロングテール・ラーニング(Deep Long-tailed Learning)は、長いテールのクラス分布に追従する多数の画像から、優れたパフォーマンスのディープモデルをトレーニングすることを目的としている。 長い尾を持つクラス不均衡は、現実的な視覚認識タスクにおいて一般的な問題である。 本稿では,近年の長期学習の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2021-10-09T15:25:22Z)
• Discussion of Ensemble Learning under the Era of Deep Learning [4.061135251278187]
  深層学習のアンサンブル化は,学習システムの一般化に大きく貢献している。 複数のベース深層学習者のトレーニングとアンサンブル深層学習者によるテストのための時間と空間のオーバーヘッドは、従来のアンサンブル学習よりもはるかに大きい。 緊急に解決すべき問題は、必要な時間と空間のオーバーヘッドを減らしながら、ディープラーニングをアンサンブルする大きな利点をいかに活用するかである。
  論文  参考訳（メタデータ） (2021-01-21T01:33:23Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Structure preserving deep learning [1.2263454117570958]
  深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
  論文  参考訳（メタデータ） (2020-06-05T10:59:09Z)
• Generalization in Deep Learning [103.91623583928852]
  本稿では,その容量,複雑性,アルゴリズムの不安定性,非破壊性,およびシャープなミニマにもかかわらず,ディープラーニングがなぜ,どのように一般化できるかに関する理論的知見を提供する。 また、ディープラーニングのための非空でない一般化保証を提供するためのアプローチについても論じる。
  論文  参考訳（メタデータ） (2017-10-16T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。