論文の概要: Towards Optimal Neural Networks: the Role of Sample Splitting in Hyperparameter Selection

• arxiv url: http://arxiv.org/abs/2307.07726v2
• Date: Thu, 5 Oct 2023 10:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 21:50:19.848311
• Title: Towards Optimal Neural Networks: the Role of Sample Splitting in Hyperparameter Selection
• Title（参考訳）: 最適ニューラルネットワークを目指して:ハイパーパラメータ選択におけるサンプル分割の役割
• Authors: Shijin Gong and Xinyu Zhang
• Abstract要約: 我々はニューラルネットワークの有効性を理解するための新しい理論を構築した。 具体的には、ニューラルネットワークモデルの構築において、共通の実践の基礎となる理論的根拠について検討する。
• 参考スコア（独自算出の注目度）: 10.083181657981292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When artificial neural networks have demonstrated exceptional practical success in a variety of domains, investigations into their theoretical characteristics, such as their approximation power, statistical properties, and generalization performance, have concurrently made significant strides. In this paper, we construct a novel theory for understanding the effectiveness of neural networks, which offers a perspective distinct from prior research. Specifically, we explore the rationale underlying a common practice during the construction of neural network models: sample splitting. Our findings indicate that the optimal hyperparameters derived from sample splitting can enable a neural network model that asymptotically minimizes the prediction risk. We conduct extensive experiments across different application scenarios and network architectures, and the results manifest our theory's effectiveness.
• Abstract（参考訳）: 人工ニューラルネットワークが様々な領域で例外的な実践的成功をおさめたとき、その近似力、統計特性、一般化性能などの理論的特性の研究は同時に大きな進歩を遂げた。 本稿では,ニューラルネットワークの有効性を理解するための新しい理論を構築し,従来の研究と異なる視点を提供する。 具体的には,ニューラルネットワークモデル構築における共通プラクティスの根拠であるサンプル分割について検討する。 その結果, サンプル分割から得られる最適パラメータは, 漸近的に予測リスクを最小化するニューラルネットワークモデルを実現することができることがわかった。 異なるアプリケーションシナリオとネットワークアーキテクチャにわたる広範な実験を行い、その結果が我々の理論の有効性を示している。

関連論文リスト

• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels [6.144858413112823]
  ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。 ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
  論文  参考訳（メタデータ） (2022-12-04T05:13:01Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Topological Insights into Sparse Neural Networks [16.515620374178535]
  本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。 まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。 適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T22:27:21Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。