論文の概要: On Energy-Based Models with Overparametrized Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2104.07531v1
• Date: Thu, 15 Apr 2021 15:34:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:11:34.835336
• Title: On Energy-Based Models with Overparametrized Shallow Neural Networks
• Title（参考訳）: 過パラメータ浅層ニューラルネットワークを用いたエネルギーベースモデルについて
• Authors: Carles Domingo-Enrich, Alberto Bietti, Eric Vanden-Eijnden, Joan Bruna
• Abstract要約: エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
• 参考スコア（独自算出の注目度）: 44.74000986284978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models (EBMs) are a simple yet powerful framework for generative modeling. They are based on a trainable energy function which defines an associated Gibbs measure, and they can be trained and sampled from via well-established statistical tools, such as MCMC. Neural networks may be used as energy function approximators, providing both a rich class of expressive models as well as a flexible device to incorporate data structure. In this work we focus on shallow neural networks. Building from the incipient theory of overparametrized neural networks, we show that models trained in the so-called "active" regime provide a statistical advantage over their associated "lazy" or kernel regime, leading to improved adaptivity to hidden low-dimensional structure in the data distribution, as already observed in supervised learning. Our study covers both maximum likelihood and Stein Discrepancy estimators, and we validate our theoretical results with numerical experiments on synthetic data.
• Abstract（参考訳）: エネルギーベースモデル(EBMs)は、生成モデリングのためのシンプルだが強力なフレームワークである。 これらは、関連するギブズ測度を定義する訓練可能なエネルギー関数に基づいており、MCMCのようなよく確立された統計ツールを通じて訓練およびサンプル化することができる。 ニューラルネットワークはエネルギー関数近似器として使用することができ、リッチな表現モデルとデータ構造を組み込む柔軟なデバイスの両方を提供する。 本研究では、浅いニューラルネットワークに焦点を当てる。 ハイパーパラメータ化ニューラルネットワークの初期理論を基礎として,いわゆる"アクティブ"ニューラルネットワークでトレーニングされたモデルが,関連する"lazy"やカーネルレジームよりも統計的に有利な結果をもたらし,教師付き学習ですでに観察されているような,データ分散における隠れた低次元構造への適応性の向上につながることを示す。 本研究は, 最大確率とスタイン不一致推定値の両方をカバーし, 合成データを用いた数値実験により理論結果を検証した。

関連論文リスト

• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Diffusion-based Neural Network Weights Generation [85.6725307453325]
  データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。 具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Tensor networks for unsupervised machine learning [9.897828174118974]
  本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。 提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-24T12:51:00Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Sobolev training of thermodynamic-informed neural networks for smoothed elasto-plasticity models with level set hardening [0.0]
  本研究では, 可視成分を用いた平滑な弾塑性モデルの学習を目的としたディープラーニングフレームワークを提案する。 収率関数を進化レベル集合として再キャストすることにより、ハミルトン・ヤコビ方程式の解を予測する機械学習手法を導入する。
  論文  参考訳（メタデータ） (2020-10-15T22:43:32Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Learning Queuing Networks by Recurrent Neural Networks [0.0]
  データから性能モデルを導出する機械学習手法を提案する。 我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。 これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
  論文  参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。