論文の概要: Learning Curves for SGD on Structured Features

• arxiv url: http://arxiv.org/abs/2106.02713v1
• Date: Fri, 4 Jun 2021 20:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 12:41:30.064930
• Title: Learning Curves for SGD on Structured Features
• Title（参考訳）: 構造的特徴に基づくSGDの学習曲線
• Authors: Blake Bordelon and Cengiz Pehlevan
• Abstract要約: 本研究では,学習中におけるテストエラーを正確に予測するために,特徴空間内のデータの幾何学が重要であることを示す。 提案手法は,学習中のテストエラーを正確に予測するためには,特徴空間内のデータの幾何をモデル化することが極めて重要であることを示す。
• 参考スコア（独自算出の注目度）: 23.40229188549055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generalization performance of a machine learning algorithm such as a neural network depends in a non-trivial way on the structure of the data distribution. Models of generalization in machine learning theory often ignore the low-dimensional structure of natural signals, either by considering data-agnostic bounds or by studying the performance of the algorithm when trained on uncorrelated features. To analyze the influence of data structure on test loss dynamics, we study an exactly solveable model of stochastic gradient descent (SGD) which predicts test loss when training on features with arbitrary covariance structure. We solve the theory exactly for both Gaussian features and arbitrary features and we show that the simpler Gaussian model accurately predicts test loss of nonlinear random-feature models and deep neural networks trained with SGD on real datasets such as MNIST and CIFAR-10. We show that modeling the geometry of the data in the induced feature space is indeed crucial to accurately predict the test error throughout learning.
• Abstract（参考訳）: ニューラルネットワークのような機械学習アルゴリズムの一般化性能は、データ分布の構造に非自明な方法で依存する。 機械学習理論における一般化のモデルは、データ非依存境界を考えるか、非相関特徴に基づいて訓練されたアルゴリズムの性能を研究することによって、自然信号の低次元構造をしばしば無視する。 データ構造がテスト損失ダイナミクスに与える影響を分析するために,任意の共分散構造を持つ特徴に対するトレーニング時のテスト損失を予測する確率勾配降下モデル(sgd)について検討した。 この理論はガウス的特徴と任意の特徴の両方について正確に解き、より単純なガウス的モデルにより、mnistやcifar-10のような実データセットでsgdで訓練された非線形ランダム特徴モデルのテスト損失を正確に予測できることを示した。 誘導特徴空間におけるデータの幾何形状のモデル化は,学習を通してテスト誤差を正確に予測する上で重要である。

関連論文リスト

• CGNSDE: Conditional Gaussian Neural Stochastic Differential Equation for Modeling Complex Systems and Data Assimilation [1.4322470793889193]
  条件付きニューラル微分方程式(CGNSDE)と呼ばれる新しい知識ベースおよび機械学習ハイブリッドモデリング手法を開発した。 標準的なニューラルネットワーク予測モデルとは対照的に、CGNSDEは前方予測タスクと逆状態推定問題の両方に効果的に取り組むように設計されている。
  論文  参考訳（メタデータ） (2024-04-10T05:32:03Z)
• Deep learning for full-field ultrasonic characterization [7.120879473925905]
  本研究では、最近の機械学習の進歩を活用して、物理に基づくデータ分析プラットフォームを構築する。 直接反転と物理インフォームドニューラルネットワーク(PINN)の2つの論理について検討した。
  論文  参考訳（メタデータ） (2023-01-06T05:01:05Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• A Causality-Based Learning Approach for Discovering the Underlying Dynamics of Complex Systems from Partial Observations with Stochastic Parameterization [1.2882319878552302]
  本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。 モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。 数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
  論文  参考訳（メタデータ） (2022-08-19T00:35:03Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Online Tensor-Based Learning for Multi-Way Data [1.0953917735844645]
  オンラインの$CANDECOMP/PARAFAC$分解のために、新しい効率的なテンソルベースの特徴抽出法NeSGDが提案されている。 その結果,提案手法は分類誤り率を大幅に改善し,時間とともに正のデータ分布の変化を同化することができ,全てのケーススタディにおいて高い予測精度を維持した。
  論文  参考訳（メタデータ） (2020-03-10T02:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。