論文の概要: On the Relationship Between Variational Inference and Auto-Associative Memory

• arxiv url: http://arxiv.org/abs/2210.08013v1
• Date: Fri, 14 Oct 2022 14:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:04:44.076041
• Title: On the Relationship Between Variational Inference and Auto-Associative Memory
• Title（参考訳）: 変分推論と自己連想記憶の関係について
• Authors: Louis Annabi, Alexandre Pitti and Mathias Quoy
• Abstract要約: 本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this article, we propose a variational inference formulation of auto-associative memories, allowing us to combine perceptual inference and memory retrieval into the same mathematical framework. In this formulation, the prior probability distribution onto latent representations is made memory dependent, thus pulling the inference process towards previously stored representations. We then study how different neural network approaches to variational inference can be applied in this framework. We compare methods relying on amortized inference such as Variational Auto Encoders and methods relying on iterative inference such as Predictive Coding and suggest combining both approaches to design new auto-associative memory models. We evaluate the obtained algorithms on the CIFAR10 and CLEVR image datasets and compare them with other associative memory models such as Hopfield Networks, End-to-End Memory Networks and Neural Turing Machines.
• Abstract（参考訳）: 本稿では、自動連想記憶の変分推論式を提案し、知覚的推論とメモリ検索を同じ数学的枠組みに組み合わせることを可能にする。 この定式化では、潜在表現に対する事前の確率分布をメモリ依存にすることで、推論プロセスを予め格納された表現へと引き出す。 次に,変動推論に対するニューラルネットワークのアプローチを,このフレームワークに適用する方法について検討する。 本稿では,変分オートエンコーダや予測符号化のような反復的推論に依存する手法を比較し,新しい自己連想型メモリモデルの設計に両手法を組み合わせることを提案する。 CIFAR10とCLEVRの画像データセット上で得られたアルゴリズムを評価し,ホップフィールドネットワーク,エンド・ツー・エンドメモリネットワーク,ニューラルチューリングマシンなどの他の連想記憶モデルと比較した。

関連論文リスト

• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
  連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。 両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
  論文  参考訳（メタデータ） (2024-02-15T18:56:46Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models [41.58529335439799]
  本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。 これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
  論文  参考訳（メタデータ） (2022-02-09T16:48:06Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。