論文の概要: Learning and Inference in Sparse Coding Models with Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2204.11150v1
• Date: Sat, 23 Apr 2022 23:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 05:57:15.666129
• Title: Learning and Inference in Sparse Coding Models with Langevin Dynamics
• Title（参考訳）: ランジュバンダイナミクスを用いたスパース符号化モデルの学習と推論
• Authors: Michael Y.-S. Fang, Mayur Mudigonda, Ryan Zarcone, Amir Khosrowshahi, Bruno A. Olshausen
• Abstract要約: 本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 3.0600309122672726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe a stochastic, dynamical system capable of inference and learning in a probabilistic latent variable model. The most challenging problem in such models - sampling the posterior distribution over latent variables - is proposed to be solved by harnessing natural sources of stochasticity inherent in electronic and neural systems. We demonstrate this idea for a sparse coding model by deriving a continuous-time equation for inferring its latent variables via Langevin dynamics. The model parameters are learned by simultaneously evolving according to another continuous-time equation, thus bypassing the need for digital accumulators or a global clock. Moreover we show that Langevin dynamics lead to an efficient procedure for sampling from the posterior distribution in the 'L0 sparse' regime, where latent variables are encouraged to be set to zero as opposed to having a small L1 norm. This allows the model to properly incorporate the notion of sparsity rather than having to resort to a relaxed version of sparsity to make optimization tractable. Simulations of the proposed dynamical system on both synthetic and natural image datasets demonstrate that the model is capable of probabilistically correct inference, enabling learning of the dictionary as well as parameters of the prior.
• Abstract（参考訳）: 本稿では確率的潜在変数モデルで推論と学習が可能な確率的動的システムについて述べる。 このようなモデルにおける最も難しい問題 - 潜伏変数の後方分布をサンプリングする - は、電子系や神経系に固有の確率性の自然な源を利用することによって解決される。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出したスパース符号化モデルのこのアイデアを実証する。 モデルパラメータは、別の連続時間方程式に従って同時に進化することによって学習され、デジタルアキュムレータやグローバルクロックの必要性を回避できる。 さらに, ランゲヴィン力学は, L1ノルムが小さいのに対して, 潜伏変数を0に設定することが推奨される'L0スパース'系において, 後部分布からサンプリングする効率的な手順をもたらすことを示す。 これによりモデルは、最適化が容易になるように緩和されたバージョンのスパーシティに頼るのではなく、スパーシティの概念を適切に取り入れることができる。 合成画像と自然画像の両方のデータセット上で提案された力学系のシミュレーションにより、モデルが確率論的に正しい推論が可能であり、辞書の学習とそれ以前のパラメータが可能であることを示す。

関連論文リスト

• Path-minimizing Latent ODEs for improved extrapolation and inference [0.0]
  潜在ODEモデルは動的システムの柔軟な記述を提供するが、外挿と複雑な非線形力学の予測に苦労することがある。 本稿では、時間に依存しない潜在表現を奨励することで、この二分法を利用する。 遅延空間における一般的な変分ペナルティを各システムのパス長の$ell$ペナルティに置き換えることで、モデルは異なる構成のシステムと容易に区別できるデータ表現を学ぶ。 これにより、GRU、RNN、LSTM/デコーダによるベースラインODEモデルと比較して、より高速なトレーニング、より小さなモデル、より正確で長時間の外挿が可能となる。
  論文  参考訳（メタデータ） (2024-10-11T15:50:01Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Anamnesic Neural Differential Equations with Orthogonal Polynomial Projections [6.345523830122166]
  本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。 提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
  論文  参考訳（メタデータ） (2023-03-03T10:49:09Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows [29.310742141970394]
  我々は,世界規模で安定な非線形力学を学習できる新しいDeep生成モデルであるImitationFlowを紹介した。 提案手法の有効性を,標準データセットと実ロボット実験の両方で示す。
  論文  参考訳（メタデータ） (2020-10-25T14:49:46Z)
• Variational inference formulation for a model-free simulation of a dynamical system with unknown parameters by a recurrent neural network [8.616180927172548]
  本研究では,事前知識のない未知パラメータを持つ力学系の「モデルフリー」シミュレーションを提案する。 ディープラーニングモデルは,非線形時間行進演算子と未知パラメータの影響を時系列データセットから共同学習することを目的としている。 提案したディープラーニングモデルは,乱数パラメータの次元を正確に同定し,複雑な時系列データの表現を学習することができる。
  論文  参考訳（メタデータ） (2020-03-02T20:57:02Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。