論文の概要: Deep equilibrium models as estimators for continuous latent variables

• arxiv url: http://arxiv.org/abs/2211.05943v1
• Date: Fri, 11 Nov 2022 01:21:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 15:38:38.588243
• Title: Deep equilibrium models as estimators for continuous latent variables
• Title（参考訳）: 連続潜在変数推定器としての深部平衡モデル
• Authors: Russell Tsuchida and Cheng Soon Ong
• Abstract要約: ニューラルネットワークアーキテクチャと統計モデルとの明確な関係を示す。 深部平衡モデルでは, 潜伏係数と変換パラメータの最大アポテリオリ(MAP)推定値が解ける。 私たちのDEC機能マップはエンドツーエンドで微分可能で、下流タスクの微調整を可能にします。
• 参考スコア（独自算出の注目度）: 10.244213671349225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Principal Component Analysis (PCA) and its exponential family extensions have three components: observations, latents and parameters of a linear transformation. We consider a generalised setting where the canonical parameters of the exponential family are a nonlinear transformation of the latents. We show explicit relationships between particular neural network architectures and the corresponding statistical models. We find that deep equilibrium models -- a recently introduced class of implicit neural networks -- solve maximum a-posteriori (MAP) estimates for the latents and parameters of the transformation. Our analysis provides a systematic way to relate activation functions, dropout, and layer structure, to statistical assumptions about the observations, thus providing foundational principles for unsupervised DEQs. For hierarchical latents, individual neurons can be interpreted as nodes in a deep graphical model. Our DEQ feature maps are end-to-end differentiable, enabling fine-tuning for downstream tasks.
• Abstract（参考訳）: 主成分分析(PCA)とその指数関数族拡張は、線形変換の観測、潜伏、パラメータの3つの成分を持つ。 指数族の正準パラメータが潜在体の非線形変換であるような一般化された設定を考える。 特定のニューラルネットワークアーキテクチャと対応する統計モデルとの明確な関係を示す。 最近導入された暗黙のニューラルネットワークのクラスであるDeep equilibrium Modelは、潜伏者および変換のパラメータの最大a-posteriori(MAP)推定を解く。 本分析は, 活性化関数, ドロップアウト, および層構造を観測に関する統計的仮定と結びつける体系的な方法を提供し, 教師なしのdeqの基本原理を提供する。 階層的な潜伏状態の場合、個々のニューロンは深いグラフィカルモデルでノードとして解釈できる。 私たちのDEC機能マップはエンドツーエンドで微分可能で、下流タスクの微調整を可能にします。

関連論文リスト

• NBMLSS: probabilistic forecasting of electricity prices via Neural Basis Models for Location Scale and Shape [44.99833362998488]
  我々は、GAMLSSの原理的解釈可能性と、計算にスケーラブルな共有基底分解をブレンドした、位置、スケール、形状のためのニューラル基底モデルをデプロイする。 複数の市場領域で実験が行われ、分布型ニューラルネットワークに匹敵する確率論的予測性能を達成した。
  論文  参考訳（メタデータ） (2024-11-21T08:17:53Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks [0.0]
  本稿では,ネットワーク重みを階層的に表した2層ニューラルネットワークモデル構造を用いた非線形ロジスティック回帰手法を提案する。 私は計算効率のよいアルゴリズムを導き出し、その複雑さは独立したスパースロジスティックモデルの集合と同様にスケールする。
  論文  参考訳（メタデータ） (2023-03-02T19:09:47Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Deep learning and differential equations for modeling changes in individual-level latent dynamics between observation periods [0.0]
  本稿では,異なる微分方程式パラメータの集合が観測サブ周期で許容される拡張を提案する。 アプリケーション内のレジリエンスの個々の動的モデルから予測対象を導出する。 提案手法では,動的モデルの個々のレベルパラメータの同定に成功し,予測子を安定して選択できる。
  論文  参考訳（メタデータ） (2022-02-15T13:53:42Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Phase diagram for two-layer ReLU neural networks at infinite-width limit [6.380166265263755]
  我々は、2層ReLUニューラルネットワークの位相図を無限幅極限で描画する。 位相図の3つのレギュレーション、すなわち線形レギュレーション、臨界レギュレーション、凝縮レギュレーションを同定する。 線形状態においては、NNトレーニングダイナミクスは指数的損失減衰を持つランダム特徴モデルとほぼ同様の線形である。 凝縮状態において、能動ニューロンがいくつかの異なる向きで凝縮されていることを示す実験を通して、我々は実験を行う。
  論文  参考訳（メタデータ） (2020-07-15T06:04:35Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。