Fugu-MT 論文翻訳(概要): Training a Hopfield Variational Autoencoder with Equilibrium Propagation

論文の概要: Training a Hopfield Variational Autoencoder with Equilibrium Propagation

arxiv url: http://arxiv.org/abs/2311.15047v1
Date: Sat, 25 Nov 2023 14:50:37 GMT
ステータス: 処理完了
システム内更新日: 2023-11-29 22:21:25.985470
Title: Training a Hopfield Variational Autoencoder with Equilibrium Propagation
Title（参考訳）: 平衡伝播を伴うホップフィールド変分オートエンコーダの訓練
Authors: Tom Van Der Meersch, Johannes Deleu, Thomas Demeester
Abstract要約: 専用のアナログハードウェアでは、平衡伝播はバックプロパゲーションに代わるエネルギー効率の良い代替物である。本稿では,変分オートエンコーダ(VAE)の学習における平衡伝播の適用例を示す。本稿では,VAE実装に必要なチップサイズを効果的に半減できるエンコーダとデコーダの両方として機能する単一モデルを提案する。
参考スコア（独自算出の注目度）: 12.829893293085732
License: http://creativecommons.org/licenses/by/4.0/
Abstract: On dedicated analog hardware, equilibrium propagation is an energy-efficient alternative to backpropagation. In spite of its theoretical guarantees, its application in the AI domain remains limited to the discriminative setting. Meanwhile, despite its high computational demands, generative AI is on the rise. In this paper, we demonstrate the application of Equilibrium Propagation in training a variational autoencoder (VAE) for generative modeling. Leveraging the symmetric nature of Hopfield networks, we propose using a single model to serve as both the encoder and decoder which could effectively halve the required chip size for VAE implementations, paving the way for more efficient analog hardware configurations.
Abstract（参考訳）: 専用のアナログハードウェアでは、平衡伝播はバックプロパゲーションのエネルギー効率の代替となる。その理論的保証にもかかわらず、AI領域におけるその適用は差別的な設定に限られている。一方、高い計算要求にもかかわらず、生成AIは増加傾向にある。本稿では,変分オートエンコーダ(VAE)の学習における平衡伝播の適用例を示す。ホップフィールドネットワークの対称性を生かして,単一モデルを用いてエンコーダとデコーダの両方として機能し,VAE実装に必要なチップサイズを半減させ,より効率的なアナログハードウェア構成を実現することを提案する。

関連論文リスト

Efficient Deployment of Transformer Models in Analog In-Memory Computing Hardware [3.4499067894101465]
本稿では,AIMCハードウェア上に事前学習したトランスフォーマーモデルをデプロイするための新しい手法を提案する。ハードウェアを意識したトレーニングを必要とする従来のアプローチとは異なり、当社の手法はオリジナルのモデルを再トレーニングすることなく、ダイレクトデプロイメントを可能にします。提案手法は,複数のタスクにまたがって単一のアナログモデルを再利用できるため,マルチタスクシナリオにおいて特に魅力的である。
論文参考訳（メタデータ） (2024-11-26T12:20:18Z)
Towards training digitally-tied analog blocks via hybrid gradient computation [1.800676987432211]
フィードフォワード型エネルギーベースモデル(ff-EBM)を紹介する。フィードフォワード部とエネルギーベース部でそれぞれ逆プロパゲーションと「eqプロパゲーション」することで、FF-EBMの勾配をエンドツーエンドに計算する新しいアルゴリズムを導出する。我々のアプローチは、自己学習可能なアナログ計算プリミティブを既存のデジタルアクセラレータに徐々に統合する、原則的でスケーラブルで漸進的なロードマップを提供する。
論文参考訳（メタデータ） (2024-09-05T07:22:19Z)
Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文参考訳（メタデータ） (2023-07-19T10:27:34Z)
Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文参考訳（メタデータ） (2023-07-17T07:12:29Z)
Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文参考訳（メタデータ） (2023-02-22T11:26:50Z)
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文参考訳（メタデータ） (2022-11-16T00:11:04Z)
String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
論文参考訳（メタデータ） (2022-08-23T03:56:30Z)
An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文参考訳（メタデータ） (2022-01-09T09:31:50Z)
Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文参考訳（メタデータ） (2021-06-24T12:23:05Z)
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。偏りのない推定器を装着したVAEは予測性能が向上することを示した。
論文参考訳（メタデータ） (2020-10-05T08:11:55Z)
Variance Constrained Autoencoding [0.0]
エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
論文参考訳（メタデータ） (2020-05-08T00:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。