Fugu-MT 論文翻訳(概要): Product Kanerva Machines: Factorized Bayesian Memory

論文の概要: Product Kanerva Machines: Factorized Bayesian Memory

arxiv url: http://arxiv.org/abs/2002.02385v1
Date: Thu, 6 Feb 2020 17:29:04 GMT
ステータス: 処理完了
システム内更新日: 2023-01-03 09:52:19.774422
Title: Product Kanerva Machines: Factorized Bayesian Memory
Title（参考訳）: 製品カネルバマシン: ベイズ記憶の因子化
Authors: Adam Marblestone, Yan Wu, Greg Wayne
Abstract要約: 我々は、多数の小さなKanervaマシンを組み合わせたProduct Kanerva Machineを紹介する。その階層構造は、不変な特徴を抽象化する原則的な方法を提供する。教師なしクラスタリング、スパースパターンとアロケーションパターンの発見、空間的チューニングの発見などが可能だ。
参考スコア（独自算出の注目度）: 8.304366711646509
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An ideal cognitively-inspired memory system would compress and organize incoming items. The Kanerva Machine (Wu et al, 2018) is a Bayesian model that naturally implements online memory compression. However, the organization of the Kanerva Machine is limited by its use of a single Gaussian random matrix for storage. Here we introduce the Product Kanerva Machine, which dynamically combines many smaller Kanerva Machines. Its hierarchical structure provides a principled way to abstract invariant features and gives scaling and capacity advantages over single Kanerva Machines. We show that it can exhibit unsupervised clustering, find sparse and combinatorial allocation patterns, and discover spatial tunings that approximately factorize simple images by object.
Abstract（参考訳）: 理想的な認知的インスパイアされたメモリシステムは、入ってくるアイテムを圧縮し整理する。 Kanerva Machine (Wu et al, 2018)は、オンラインメモリ圧縮を自然に実装したベイジアンモデルである。しかし、カネルバマシンの組織は、単一のガウス確率行列を記憶に用いて制限されている。ここでは、多数の小さなKanervaマシンを動的に組み合わせたProduct Kanerva Machineを紹介する。その階層構造は不変な機能を抽象化する原則的な方法を提供し、単一のkanervaマシンよりもスケーリングとキャパシティのアドバンテージを提供します。本研究では, 教師なしクラスタリング, スパースおよび組合せアロケーションパターンの発見, オブジェクトごとの簡単な画像を大まかに分解する空間的チューニングの発見について述べる。

関連論文リスト

Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文参考訳（メタデータ） (2023-10-17T01:05:28Z)
Kernel Memory Networks: A Unifying Framework for Memory Modeling [9.142894972380216]
我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。我々は、カーネルメモリネットワークと呼ばれる最適なモデル、特に、異種および自己連想型メモリモデルの多くを含むものを導出する。
論文参考訳（メタデータ） (2022-08-19T16:01:09Z)
Classification and Generation of real-world data with an Associative Memory Model [0.0]
マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
論文参考訳（メタデータ） (2022-07-11T12:51:27Z)
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文参考訳（メタデータ） (2022-05-26T08:24:01Z)
Manifoldron: Direct Space Partition via Manifold Discovery [20.598782641025284]
我々はManifoldronと呼ばれる新しいタイプの機械学習モデルを提案する。マニフォールドロンはデータから直接決定境界を導出し、多様体構造発見を通じて空間を分割する。提案したManifoldronは、メインストリームの機械学習モデルと比較して競合的に動作することを示す。
論文参考訳（メタデータ） (2022-01-14T02:28:17Z)
Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文参考訳（メタデータ） (2022-01-08T00:47:50Z)
Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文参考訳（メタデータ） (2021-02-24T19:55:49Z)
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文参考訳（メタデータ） (2021-02-20T18:40:40Z)
Fully Convolutional Networks for Panoptic Segmentation [91.84686839549488]
そこで我々は,Panoptic FCNという概念的,シンプルで,強力で,効率的なパノプティックセグメンテーションフレームワークを提案する。我々のアプローチは、統一された完全な畳み込みパイプラインにおいて、前景や背景を表現し、予測することを目的としています。 Panoptic FCNは、提案されたカーネルジェネレータで、各オブジェクトインスタンスまたは物カテゴリを特定のカーネル重みにエンコードする。
論文参考訳（メタデータ） (2020-12-01T18:31:41Z)
Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
論文参考訳（メタデータ） (2020-06-16T01:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。