論文の概要: Fitting Elephants

• arxiv url: http://arxiv.org/abs/2104.00526v1
• Date: Wed, 31 Mar 2021 05:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 10:54:26.106016
• Title: Fitting Elephants
• Title（参考訳）: フィッティングエレファント
• Authors: Partha P Mitra
• Abstract要約: 最新の機械学習(ML)アプローチ、cf。 deep nets (dnns) はノイズの多いデータを補間しながらもうまく一般化する。 これは統計的補間(SCI)によって理解できる。 SCIは、純粋に経験的なアプローチがうまく予測できることを示している。 しかし、データは理論的洞察を提供しておらず、トレーニングデータ要件は禁止される可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Textbook wisdom advocates for smooth function fits and implies that interpolation of noisy data should lead to poor generalization. A related heuristic is that fitting parameters should be fewer than measurements (Occam's Razor). Surprisingly, contemporary machine learning (ML) approaches, cf. deep nets (DNNs), generalize well despite interpolating noisy data. This may be understood via Statistically Consistent Interpolation (SCI), i.e. data interpolation techniques that generalize optimally for big data. In this article we elucidate SCI using the weighted interpolating nearest neighbors (wiNN) algorithm, which adds singular weight functions to kNN (k-nearest neighbors). This shows that data interpolation can be a valid ML strategy for big data. SCI clarifies the relation between two ways of modeling natural phenomena: the rationalist approach (strong priors) of theoretical physics with few parameters and the empiricist (weak priors) approach of modern ML with more parameters than data. SCI shows that the purely empirical approach can successfully predict. However data interpolation does not provide theoretical insights, and the training data requirements may be prohibitive. Complex animal brains are between these extremes, with many parameters, but modest training data, and with prior structure encoded in species-specific mesoscale circuitry. Thus, modern ML provides a distinct epistemological approach different both from physical theories and animal brains.
• Abstract（参考訳）: 教科書の知恵はスムーズな関数の適合を提唱し、ノイズの多いデータの補間が一般化の低下につながることを示唆している。 関連するヒューリスティックは、フィッティングパラメータが測定値より小さいことである(オッカムのラザー)。 驚くべきことに、現代の機械学習(ML)アプローチ、cf。 deep nets (dnns) はノイズの多いデータを補間しながらもうまく一般化する。 これは統計的に一貫性のある補間(SCI)によって理解される。 ビッグデータを最適に一般化するデータ補間技術。 本稿では、kNN(k-nearest neighbors)に特異な重み関数を付加する、重み付き補間近接隣人(wiNN)アルゴリズムを用いてSCIを解明する。 これは、データの補間がビッグデータにとって有効なML戦略であることを示している。 SCIは自然現象をモデル化する2つの方法の関係を明確にしている: 理論物理学の有理論的アプローチ(強い先行)と、データよりも多くのパラメータを持つ現代のMLの経験主義的アプローチ(弱い先行)である。 SCIは、純粋に経験的なアプローチがうまく予測できることを示している。 しかし、データ補間は理論的洞察を提供しておらず、トレーニングデータ要件は禁止される可能性がある。 複雑な動物の脳はこれらの極端の間にあり、多くのパラメータを持つが、控えめな訓練データを持ち、以前の構造は種固有のメソスケール回路にコードされている。 したがって、現代のmlは、物理的理論と動物の脳とは異なる認識論的アプローチを提供する。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data [22.262191225577244]
  科学的基礎モデル(SFM)にも同様のアプローチが適用できるかどうかを考察する。 数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)の解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。 本研究では,1次元対流拡散反応方程式に関する実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-09T00:52:00Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Merging Two Cultures: Deep and Statistical Learning [3.15863303008255]
  深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。 モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-22T02:57:21Z)
• A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning [37.01683478234978]
  機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。 最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
  論文  参考訳（メタデータ） (2021-09-06T10:48:40Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• A Universal Law of Robustness via Isoperimetry [1.484852576248587]
  スムースには単なるパラメータ以上の$d$が必要で、$d$は周囲のデータ次元である。 この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
  論文  参考訳（メタデータ） (2021-05-26T19:49:47Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。