論文の概要: Optimistic Estimate Uncovers the Potential of Nonlinear Models

• arxiv url: http://arxiv.org/abs/2307.08921v1
• Date: Tue, 18 Jul 2023 01:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 16:51:18.985127
• Title: Optimistic Estimate Uncovers the Potential of Nonlinear Models
• Title（参考訳）: 非線形モデルの可能性を明らかにする最適推定
• Authors: Yaoyu Zhang, Zhongwang Zhang, Leyang Zhang, Zhiwei Bai, Tao Luo, Zhi-Qin John Xu
• Abstract要約: 非線形モデルの最適適合性能を評価するための楽観的な推定法を提案する。 行列因数分解モデル,深層モデル,および完全連結あるいは畳み込みアーキテクチャを持つディープニューラルネットワーク(DNN)の楽観的なサンプルサイズを推定する。
• 参考スコア（独自算出の注目度）: 3.0041514772139166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an optimistic estimate to evaluate the best possible fitting performance of nonlinear models. It yields an optimistic sample size that quantifies the smallest possible sample size to fit/recover a target function using a nonlinear model. We estimate the optimistic sample sizes for matrix factorization models, deep models, and deep neural networks (DNNs) with fully-connected or convolutional architecture. For each nonlinear model, our estimates predict a specific subset of targets that can be fitted at overparameterization, which are confirmed by our experiments. Our optimistic estimate reveals two special properties of the DNN models -- free expressiveness in width and costly expressiveness in connection. These properties suggest the following architecture design principles of DNNs: (i) feel free to add neurons/kernels; (ii) restrain from connecting neurons. Overall, our optimistic estimate theoretically unveils the vast potential of nonlinear models in fitting at overparameterization. Based on this framework, we anticipate gaining a deeper understanding of how and why numerous nonlinear models such as DNNs can effectively realize their potential in practice in the near future.
• Abstract（参考訳）: 非線形モデルの最適適合性能を評価するための楽観的な推定法を提案する。 楽観的なサンプルサイズを生成し、最小限のサンプルサイズを定量化し、非線形モデルを用いてターゲット関数を適合・復元する。 行列因数分解モデル,深層モデル,および完全連結あるいは畳み込みアーキテクチャを持つディープニューラルネットワーク(DNN)の楽観的なサンプルサイズを推定する。 各非線形モデルに対して、我々の推定は、オーバーパラメータ化に適合するターゲットの特定のサブセットを予測し、実験により確認する。 我々の楽観的な推定は、DNNモデルの2つの特別な特性、すなわち、幅の自由表現性と接続におけるコストの高い表現性を明らかにする。 これらの特性はdnnのアーキテクチャ設計の原則を示唆する。 (i)ニューロンやカーネルを自由に追加すること (ii)結合ニューロンの抑制。 概して、我々の楽観的な推定は、オーバーパラメータ化に適合する非線形モデルの膨大なポテンシャルを理論的に明らかにする。 この枠組みに基づいて、DNNのような多くの非線形モデルが近い将来にその潜在能力を効果的に実現できる理由と理由について、より深い理解を得ることを期待する。

関連論文リスト

• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Deep Neural Networks for Semiparametric Frailty Models via H-likelihood [0.0]
  本稿では、時間-時間データの予測のための新しいディープニューラルネットワークベースの脆弱性(DNN-FM)を提案する。 新しいh-likelihoodモデルの合同推定器は、固定パラメータの最大値と、ランダムな欠陥の最良の非バイアス予測器を提供する。
  論文  参考訳（メタデータ） (2023-07-13T06:46:51Z)
• Linear Stability Hypothesis and Rank Stratification for Nonlinear Models [3.0041514772139166]
  モデルランクを「パラメータの有効サイズ」として発見するための一般非線形モデルのためのランク階層化を提案する。 これらの結果から、目標関数のモデルランクは、その回復を成功させるために、最小限のトレーニングデータサイズを予測する。
  論文  参考訳（メタデータ） (2022-11-21T16:27:25Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Adaptive deep learning for nonlinear time series models [0.0]
  我々は、ディープニューラルネットワーク(DNN)を用いた非定常および非線形時系列モデルの平均関数の適応的非パラメトリック推定の理論を開発する。 我々は、幅広い非線形自己回帰(AR)モデルに属する平均関数を推定するために、ミニマックス下限を導出する。
  論文  参考訳（メタデータ） (2022-07-06T09:58:58Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Topology optimization of 2D structures with nonlinearities using deep learning [0.0]
  クラウドコンピューティングは最適な非線形構造を探索することを可能にする。 最適化設計を予測するための畳み込みニューラルネットワークモデルを開発した。 開発したモデルは、反復的なスキームを必要とせずに、最適化された設計を正確に予測することができる。
  論文  参考訳（メタデータ） (2020-01-31T12:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。