論文の概要: Associative Memories in the Feature Space

• arxiv url: http://arxiv.org/abs/2402.10814v1
• Date: Fri, 16 Feb 2024 16:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 15:02:11.565737
• Title: Associative Memories in the Feature Space
• Title（参考訳）: 特徴空間における連想記憶
• Authors: Tommaso Salvatori, Beren Millidge, Yuhang Song, Rafal Bogacz, Thomas Lukasiewicz
• Abstract要約: 本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
• 参考スコア（独自算出の注目度）: 68.1903319310263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An autoassociative memory model is a function that, given a set of data points, takes as input an arbitrary vector and outputs the most similar data point from the memorized set. However, popular memory models fail to retrieve images even when the corruption is mild and easy to detect for a human evaluator. This is because similarities are evaluated in the raw pixel space, which does not contain any semantic information about the images. This problem can be easily solved by computing \emph{similarities} in an embedding space instead of the pixel space. We show that an effective way of computing such embeddings is via a network pretrained with a contrastive loss. As the dimension of embedding spaces is often significantly smaller than the pixel space, we also have a faster computation of similarity scores. We test this method on complex datasets such as CIFAR10 and STL10. An additional drawback of current models is the need of storing the whole dataset in the pixel space, which is often extremely large. We relax this condition and propose a class of memory models that only stores low-dimensional semantic embeddings, and uses them to retrieve similar, but not identical, memories. We demonstrate a proof of concept of this method on a simple task on the MNIST dataset.
• Abstract（参考訳）: 自己連想記憶モデルは、あるデータポイントの集合が任意のベクトルとして入力され、記憶された集合から最も類似したデータポイントを出力する関数である。 しかし、一般的なメモリモデルは、ヒト評価器の破損が軽度で検出しやすくても、画像の検索に失敗する。 これは、画像に関する意味的な情報を含まない生のピクセル空間で類似性が評価されるためである。 この問題は、ピクセル空間の代わりに埋め込み空間で \emph{similarities} を計算することで容易に解決できる。 このような埋め込みを効果的に計算する方法として,コントラスト損失のあるネットワークが提案されている。 埋め込み空間の次元はピクセル空間よりもかなり小さいことが多いので、類似度スコアのより高速な計算も可能である。 この手法をcifar10やstl10などの複雑なデータセットでテストする。 現在のモデルのさらなる欠点は、データセット全体をピクセル空間に格納する必要があることだ。 我々は、この条件を緩和し、低次元のセマンティクス埋め込みのみを格納するメモリモデルクラスを提案し、それらを使用して類似しているが同一ではないメモリを取得する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。

関連論文リスト

• Shadow: A Novel Loss Function for Efficient Training in Siamese Networks [2.2189125306342]
  本稿では,損失計算中の埋め込み空間の次元を,性能を損なわずに圧縮するシャドウロスと呼ばれる新しい損失関数を提案する。 低次元射影空間を投影すると、損失関数はより早く収束し、その結果、分類された画像クラスターはクラス間距離が高く、クラス内距離も小さくなる。 Shadow Lossは、さまざまなデータセットで5%から10%の精度で、最先端のMargin Lossよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2023-11-23T14:07:35Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage [52.317406324182215]
  大規模データセットに対する視覚分類器の記憶効率向上のための学習手法を提案する。 私たちのトークンストレージは、JPEG圧縮されたオリジナルの生ピクセルの1%しか必要としない。 ImageNet-1kによる実験結果から,本手法は,他のストレージ効率のトレーニング手法よりも大幅に優れており,大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2023-03-20T13:55:35Z)
• STAIR: Learning Sparse Text and Image Representation in Grounded Tokens [84.14528645941128]
  疎結合なセマンティック表現を構築することは、密度の高いプレゼンテーションと同程度、あるいはそれ以上に強力であることを示す。 CLIPモデルを拡張してスパーステキストと画像表現(STAIR)を構築し、画像とテキストをスパーストークン空間にマッピングする。 CLIPモデルでは、+4.9%$と+4.3%$絶対リコール@1の改善で大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2023-01-30T17:21:30Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• A model of semantic completion in generative episodic memory [0.6690874707758508]
  本稿では,生成エピソード記憶のための計算モデルを提案する。 このモデルは、意味論的に妥当な方法で、メモリトレースの欠落部分を完成させることができる。 また、エピソードメモリ実験をモデル化し、意味論的コングロレントコンテキストが常に非コングロレントメモリ実験よりもよくリコールされることを再現する。
  論文  参考訳（メタデータ） (2021-11-26T15:14:17Z)
• Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
  各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。 対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。 すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T16:50:57Z)
• Efficient Classification of Very Large Images with Tiny Objects [15.822654320750054]
  Zoom-Inネットワークと呼ばれるエンドツーエンドCNNモデルを用いて,大容量画像を小さなオブジェクトで分類する。 本研究では,2つの大画像データセットと1ギガピクセルデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-06-04T20:13:04Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• CNN with large memory layers [2.368995563245609]
  この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。 メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
  論文  参考訳（メタデータ） (2021-01-27T20:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。