論文の概要: Empirical Tests of Optimization Assumptions in Deep Learning

• arxiv url: http://arxiv.org/abs/2407.01825v1
• Date: Mon, 1 Jul 2024 21:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 17:23:15.275158
• Title: Empirical Tests of Optimization Assumptions in Deep Learning
• Title（参考訳）: ディープラーニングにおける最適化推定の実証実験
• Authors: Hoang Tran, Qinzi Zhang, Ashok Cutkosky,
• Abstract要約: 本稿では,理論解析において制御しなければならない重要な量を追跡するための新しい経験的指標を開発する。 テストされたすべての仮定は、確実に最適化性能を捉えられません。 このことは、理論解析に使用される解析的仮定の新しい実証的検証の必要性を強調している。
• 参考スコア（独自算出の注目度）: 41.05664717242051
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a significant gap between our theoretical understanding of optimization algorithms used in deep learning and their practical performance. Theoretical development usually focuses on proving convergence guarantees under a variety of different assumptions, which are themselves often chosen based on a rough combination of intuitive match to practice and analytical convenience. The theory/practice gap may then arise because of the failure to prove a theorem under such assumptions, or because the assumptions do not reflect reality. In this paper, we carefully measure the degree to which these assumptions are capable of explaining modern optimization algorithms by developing new empirical metrics that closely track the key quantities that must be controlled in theoretical analysis. All of our tested assumptions (including typical modern assumptions based on bounds on the Hessian) fail to reliably capture optimization performance. This highlights a need for new empirical verification of analytical assumptions used in theoretical analysis.
• Abstract（参考訳）: ディープラーニングで使用される最適化アルゴリズムの理論的理解と,その実践的性能との間には,大きなギャップがある。 理論的な発展は通常、様々な仮定の下で収束保証を証明することに焦点を当てる。 理論と実践のギャップは、そのような仮定の下で定理を証明できなかったことや、仮定が現実を反映していないために生じるかもしれない。 本稿では,これらの仮定が現代的な最適化アルゴリズムを説明することができる程度を,理論解析において制御しなければならない重要な量を正確に追跡する新しい経験的指標を開発することによって,慎重に測定する。 テストされたすべての仮定(ヘシアン上の境界に基づく典型的な現代の仮定を含む)は、確実に最適化性能を捉えることができません。 このことは、理論解析に使用される解析的仮定の新しい実証的検証の必要性を強調している。

関連論文リスト

• A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
  クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。 確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。 符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
  論文  参考訳（メタデータ） (2024-09-11T05:10:32Z)
• Uncertainty Regularized Evidential Regression [5.874234972285304]
  Evidential Regression Network (ERN)は、深層学習とDempster-Shaferの理論を統合する新しいアプローチである。 特定のアクティベーション関数は非負の値を強制するために使わなければならない。 本稿では,この限界を理論的に解析し,克服するための改善を提案する。
  論文  参考訳（メタデータ） (2024-01-03T01:18:18Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• Can convolutional ResNets approximately preserve input distances? A frequency analysis perspective [31.897568775099558]
  正規化スキームとbi-Lipschitznessの理論的関係は、実際には成り立たない条件下でのみ有効であることを示す。 距離保存条件に対する逆例を探索する簡単な構成的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-04T13:12:42Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。