論文の概要: The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers

• arxiv url: http://arxiv.org/abs/2010.08127v2
• Date: Fri, 19 Feb 2021 03:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 19:56:00.845757
• Title: The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers
• Title（参考訳）: deep bootstrapフレームワーク: 良いオンライン学習者は優れたオフラインジェネライザー
• Authors: Preetum Nakkiran, Behnam Neyshabur, Hanie Sedghi
• Abstract要約: 本稿では,ディープラーニングの一般化を推論する新しい枠組みを提案する。 中心となる考え方は、経験的損失の段階を段階的に下るリアルワールドと、人口減少の段階を段階的に分解する理想世界とを結びつけることである。 1) 理想世界テストエラー+(2) 二つの世界の間のギャップ。
• 参考スコア（独自算出の注目度）: 44.3933379677144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new framework for reasoning about generalization in deep learning. The core idea is to couple the Real World, where optimizers take stochastic gradient steps on the empirical loss, to an Ideal World, where optimizers take steps on the population loss. This leads to an alternate decomposition of test error into: (1) the Ideal World test error plus (2) the gap between the two worlds. If the gap (2) is universally small, this reduces the problem of generalization in offline learning to the problem of optimization in online learning. We then give empirical evidence that this gap between worlds can be small in realistic deep learning settings, in particular supervised image classification. For example, CNNs generalize better than MLPs on image distributions in the Real World, but this is "because" they optimize faster on the population loss in the Ideal World. This suggests our framework is a useful tool for understanding generalization in deep learning, and lays a foundation for future research in the area.
• Abstract（参考訳）: 本稿では,ディープラーニングの一般化を推論する新しい枠組みを提案する。 中心となるアイデアは、オプティマイザが経験的損失に対して確率的勾配のステップを取る現実の世界と、オプティマイザが人口減少のステップを踏む理想的な世界とを結びつけることである。 これにより、テストエラーは:(1)理想的な世界テストエラーと(2)二つの世界の間のギャップに分解される。 ギャップ(2)が普遍的に小さい場合、オフライン学習における一般化の問題をオンライン学習における最適化の問題に還元する。 そして、現実的なディープラーニング環境、特に教師付き画像分類において、この世界のギャップが小さくなるという実証的な証拠を与える。 例えば、cnnは実世界の画像分布をmlpよりも一般化するが、これは理想的な世界の人口減少を高速に最適化する「理由」である。 このことから,本フレームワークはディープラーニングの一般化を理解する上で有用なツールであり,今後の研究の基盤となるものと考えられる。

関連論文リスト

• Simplicity bias and optimization threshold in two-layer ReLU networks [24.43739371803548]
  過度なパラメータ化にもかかわらず、ネットワークはトレーニングデータを補間するのではなく、より単純な解へと収束することを示す。 我々の分析は、ニューロンが特定の方向に向かっているいわゆる早期アライメントフェーズに依存しています。
  論文  参考訳（メタデータ） (2024-10-03T09:58:57Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Meta Mirror Descent: Optimiser Learning for Fast Convergence [85.98034682899855]
  我々は、勾配降下ではなくミラー降下から始まり、対応するブレグマン発散をメタラーニングする。 このパラダイム内では、後悔の限界を最小化するための新しいメタ学習目標を定式化する。 多くのメタ学習オプティマイザとは異なり、収束と一般化の保証もサポートしており、検証データを必要としない。
  論文  参考訳（メタデータ） (2022-03-05T11:41:13Z)
• Universal Online Learning: an Optimistically Universal Learning Rule [0.0]
  本研究では,非i.d.プロセスを用いたユニバーサルオンライン学習の課題について検討する。 k-nearest neighbor algorithm (kNN) は楽観的に普遍的ではなく, 1NN の新たな変種を示す。
  論文  参考訳（メタデータ） (2022-01-16T02:13:47Z)
• Pansharpening by convolutional neural networks in the full resolution framework [3.8323580808203785]
  提案フレームワークでトレーニングした手法は,完全解像度の数値指標と視覚的品質の両方において優れた性能を保証している。 フレームワークは完全に汎用的であり、ディープラーニングベースのパンシャーピングネットワークのトレーニングと微調整に使用することができる。
  論文  参考訳（メタデータ） (2021-11-16T10:03:11Z)
• Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate [122.73276299136568]
  ジェネレーティブポリシー模倣学習(GAIL)は、特にニューラルネットワークと組み合わせた場合、実際に非常に成功している。 実験的な成功にもかかわらず、GAILとニューラルネットワークがグローバルな最適解に収束するかどうかは不明だ。
  論文  参考訳（メタデータ） (2020-03-08T03:39:36Z)
• Local Nonparametric Meta-Learning [28.563015766188478]
  メタ学習の主目的は、一連のタスクにまたがる迅速な適応を可能にする学習ルールを見つけることである。 グローバルな、固定サイズの表現は、ある種類のアウト・オブ・ディストリビューションタスクに直面すると、しばしば失敗する。 本稿では,メタ学習ルールを利用した非パラメトリックなメタ学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-09T03:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。