論文の概要: Learning in High Dimension Always Amounts to Extrapolation
- arxiv url: http://arxiv.org/abs/2110.09485v1
- Date: Mon, 18 Oct 2021 17:32:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:56:28.350927
- Title: Learning in High Dimension Always Amounts to Extrapolation
- Title（参考訳）: 外挿にともなう高次元の学習
- Authors: Randall Balestriero, Jerome Pesenti, Yann LeCun
- Abstract要約: 外挿は、凸殻の外側に$x$が落ちるときに起こる。
多くの直観や理論はこの仮定に依存している。
私たちはこれらの2点に反対し、高次元(=100ドル)のデータセットでは、ほぼ確実に起こらないことを実証します。
- 参考スコア（独自算出の注目度）: 22.220076291384686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The notion of interpolation and extrapolation is fundamental in various
fields from deep learning to function approximation. Interpolation occurs for a
sample $x$ whenever this sample falls inside or on the boundary of the given
dataset's convex hull. Extrapolation occurs when $x$ falls outside of that
convex hull. One fundamental (mis)conception is that state-of-the-art
algorithms work so well because of their ability to correctly interpolate
training data. A second (mis)conception is that interpolation happens
throughout tasks and datasets, in fact, many intuitions and theories rely on
that assumption. We empirically and theoretically argue against those two
points and demonstrate that on any high-dimensional ($>$100) dataset,
interpolation almost surely never happens. Those results challenge the validity
of our current interpolation/extrapolation definition as an indicator of
generalization performances.
- Abstract（参考訳）: 補間と外挿の概念は、ディープラーニングから関数近似まで様々な分野において基本である。
補間は、このサンプルが与えられたデータセットの凸包の内部または境界に落ちると、サンプル$x$ に対して行われる。
外挿は、凸殻の外側に$x$が落ちるときに起こる。
基本的な(ミス)概念の1つは、トレーニングデータを正しく補間できるため、最先端のアルゴリズムがうまく機能するということである。
第二の(ミス)概念は、補間はタスクやデータセットを通して起こり、実際には多くの直観や理論はその仮定に依存しているということである。
経験的かつ理論的にこれら2つの点を議論し、任意の高次元($100)データセットにおいて、補間は決して起こらないことを実証する。
これらの結果は、一般化性能の指標として、現在の補間/外挿定義の有効性に挑戦する。
関連論文リスト
- Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Extracting Manifold Information from Point Clouds [0.0]
カーネルベースの手法は$mathbbRd$のサブセットのシグネチャ関数を構成するために提案される。
点雲の解析と解析が主な応用である。
論文 参考訳（メタデータ） (2024-03-30T17:21:07Z) - Interplay between depth and width for interpolation in neural ODEs [0.0]
それらの幅$p$と層遷移数$L$の相互作用について検討する。
高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-01-18T11:32:50Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - Teach me how to Interpolate a Myriad of Embeddings [18.711509039868655]
Mixupはデータベースの拡張を指し、元々は経験的リスク最小化を超える方法として動機付けられていた。
長さ$m$の任意の数値$n$を補間するMultiMixを紹介します。
コントリビューションは4つのベンチマーク上での最先端の混合手法よりも大幅に改善される。
論文 参考訳（メタデータ） (2022-06-29T19:16:48Z) - Benefit of Interpolation in Nearest Neighbor Algorithms [21.79888306754263]
いくつかの研究では、過度にパラメータ化されたディープニューラルネットワークは、トレーニングエラーがほぼゼロであっても、小さなテストエラーを達成することが観察されている。
私たちは、データメカニズムを通じて(過度なパラメータ化なしに)トレーニングエラーをゼロにする別の方法に変わります。
論文 参考訳（メタデータ） (2022-02-23T22:47:18Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
論文 参考訳（メタデータ） (2021-02-25T19:06:48Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。