論文の概要: How many samples are needed to leverage smoothness?

• arxiv url: http://arxiv.org/abs/2305.16014v1
• Date: Thu, 25 May 2023 12:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 15:07:55.648933
• Title: How many samples are needed to leverage smoothness?
• Title（参考訳）: 滑らかさを活用できるサンプルはいくつ必要か?
• Authors: Vivien Cabannes, Stefano Vigogna
• Abstract要約: 統計学習における中心となる原理は、対象関数の滑らかさが次元性の呪いを破ることができることである。 本稿では,古典的学習理論を超越して描かれることが多い定数や推移的体制の役割について考察する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A core principle in statistical learning is that smoothness of target functions allows to break the curse of dimensionality. However, learning a smooth function through Taylor expansions requires enough samples close to one another to get meaningful estimate of high-order derivatives, which seems hard in machine learning problems where the ratio between number of data and input dimension is relatively small. Should we really hope to break the curse of dimensionality based on Taylor expansion estimation? What happens if Taylor expansions are replaced by Fourier or wavelet expansions? By deriving a new lower bound on the generalization error, this paper investigates the role of constants and transitory regimes which are usually not depicted beyond classical learning theory statements while that play a dominant role in practice.
• Abstract（参考訳）: 統計学習における中心となる原理は、対象関数の滑らかさが次元性の呪いを破ることができることである。 しかし、テイラー展開による滑らかな関数の学習には、高階微分の有意義な推定を行うのに十分なサンプルが必要であり、データ数と入力次元の比率が比較的小さい機械学習問題では難しいと思われる。 Taylorの展開推定に基づいて、次元の呪いを破ることを本当に望んでいるだろうか? テイラー展開がフーリエあるいはウェーブレット展開に置き換えられたらどうなるか? 一般化誤差の新たな下限を導出することにより,古典的学習理論のステートメントを超えては描かれない定数や推移的レジームの役割を解明し,実際的な役割を担っている。

関連論文リスト

• State space models, emergence, and ergodicity: How many parameters are needed for stable predictions? [28.65576793023554]
  かなりの長距離相関を示すタスクには,一定のパラメータが要求されることを示す。 また,学習者のパラメトリゼーションの役割についても検討し,隠れ状態を持つ線形力学系の簡単なバージョンを考える。
  論文  参考訳（メタデータ） (2024-09-20T11:39:37Z)
• Random features models: a way to study the success of naive imputation [0.0]
  これは、欠落したデータを扱うための最初の使い易いテクニックである。 最近の研究は、このバイアスが高次元線形予測器の文脈で低いことを示唆している。 本稿は, 偏見が無視可能であり, 意外なナイーブな計算も極めて低次元で関連している,という直感を裏付けるものである。
  論文  参考訳（メタデータ） (2024-02-06T09:37:06Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Benign overfitting in ridge regression [0.0]
  過度にパラメータ化されたリッジ回帰に対する漸近的でない一般化境界を提供する。 最小あるいは負の正則化が小さい一般化誤差を得るのに十分であるかどうかを同定する。
  論文  参考訳（メタデータ） (2020-09-29T20:00:31Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
  勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。 本稿では,データから非自明な相関関係を推定する。 本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
  論文  参考訳（メタデータ） (2020-03-23T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。