論文の概要: Memory in Plain Sight: A Survey of the Uncanny Resemblances between
Diffusion Models and Associative Memories
- arxiv url: http://arxiv.org/abs/2309.16750v1
- Date: Thu, 28 Sep 2023 17:57:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 16:45:23.809486
- Title: Memory in Plain Sight: A Survey of the Uncanny Resemblances between
Diffusion Models and Associative Memories
- Title(参考訳): 平凡な視点での記憶:拡散モデルと連想記憶の間の不気味な関係に関する調査
- Authors: Benjamin Hoover, Hendrik Strobelt, Dmitry Krotov, Judy Hoffman, Zsolt
Kira, Duen Horng Chau
- Abstract要約: 拡散モデル(DM)は、最近、多くの世代ベンチマークで最先端を定めている。
数学的に記述する方法は無数にあるため、それらがどのように機能するかを簡単に理解することは困難である。
この調査は、Associative Memories (AMs) という、非常に関連性が高く、しばしば見過ごされるエネルギーベースのモデルとの数学的関係を明らかにする。
- 参考スコア(独自算出の注目度): 68.96121108376244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Models (DMs) have recently set state-of-the-art on many generation
benchmarks. However, there are myriad ways to describe them mathematically,
which makes it difficult to develop a simple understanding of how they work. In
this survey, we provide a concise overview of DMs from the perspective of
dynamical systems and Ordinary Differential Equations (ODEs) which exposes a
mathematical connection to the highly related yet often overlooked class of
energy-based models, called Associative Memories (AMs). Energy-based AMs are a
theoretical framework that behave much like denoising DMs, but they enable us
to directly compute a Lyapunov energy function on which we can perform gradient
descent to denoise data. We then summarize the 40 year history of energy-based
AMs, beginning with the original Hopfield Network, and discuss new research
directions for AMs and DMs that are revealed by characterizing the extent of
their similarities and differences
- Abstract(参考訳): 拡散モデル(DM)は、最近、多くの世代ベンチマークで最先端を定めている。
しかし、数学的に記述する方法は無数にあり、それらがどのように機能するかを簡単に理解することは困難である。
本稿では,力学系の観点からのDMの簡潔な概要と,高関連であるがしばしば見落とされがちなエネルギーベースモデル(Associative Memories (AMs))との数学的関係を明らかにする正規微分方程式(ODE)について述べる。
エネルギーベースのAMは、DMをデノナイズする理論的な枠組みであるが、これはデータをデノナイズするために勾配降下を行うことができるリプノフエネルギー関数を直接計算することができる。
次に,元々のホップフィールドネットワークから始まった40年間のエネルギーベースのamsの歴史を要約し,その類似性と相違点を特徴付けることで明らかにされるamsとdmsの新しい研究方向について考察する。
関連論文リスト
- Bridging Associative Memory and Probabilistic Modeling [30.32889433757583]
連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。
両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
論文 参考訳(メタデータ) (2024-02-15T18:56:46Z) - Diffusion Model as Representation Learner [86.09969334071478]
Diffusion Probabilistic Models (DPMs) は、最近、様々な生成タスクにおいて顕著な結果を示した。
本稿では,DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
論文 参考訳(メタデータ) (2023-08-21T00:38:39Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。
EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文 参考訳(メタデータ) (2023-06-02T12:30:42Z) - A Comprehensive Survey on Knowledge Distillation of Diffusion Models [0.0]
拡散モデル(DM)はニューラルネットワークを用いてスコア関数を指定する。
本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。
論文 参考訳(メタデータ) (2023-04-09T15:49:28Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-14T18:51:22Z) - Energy-based General Sequential Episodic Memory Networks at the
Adiabatic Limit [3.5450828190071655]
GSEMM(General Sequential Episodic Memory Models)を新たに導入する。
動的エネルギー面は、ネットワークの隠された層に信号の伝搬遅延を伴う新しい非対称なシナプスによって実現される。
DSEMは、ネットワーク内のニューロン数とともに指数関数的に増大する記憶容量を有することを示す。
論文 参考訳(メタデータ) (2022-12-11T18:09:34Z) - Conjugate Energy-Based Models [7.8112101386166195]
共役エネルギーベースモデル(英: Conconjungate Energy-based model、CEBM)は、データと潜伏変数の結合密度を定義する新しいエネルギーベースモデルである。
CEBMは、データから潜伏変数への教師なしマッピングを学ぶという意味で、変分オートエンコーダのようなユースケースを持つ。
実験により,共役型EMMは画像モデリング,潜在空間の予測能力,および様々なデータセットの領域外検出において競合する結果が得られることを示した。
論文 参考訳(メタデータ) (2021-06-25T17:51:41Z) - A Comprehensive Study on Temporal Modeling for Online Action Detection [50.558313106389335]
オンライン行動検出(OAD)は実用的だが難しい課題であり、近年注目を集めている。
本稿では,4種類の時間的モデリング手法を含むOADの時間的モデリングに関する総合的研究を提案する。
本稿では,THUMOS-14 と TVSeries に対して,近年の最先端手法よりも大きなマージンを有するハイブリッド時間モデルを提案する。
論文 参考訳(メタデータ) (2020-01-21T13:12:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。