論文の概要: CNN with large memory layers

• arxiv url: http://arxiv.org/abs/2101.11685v1
• Date: Wed, 27 Jan 2021 20:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 05:52:10.117588
• Title: CNN with large memory layers
• Title（参考訳）: 大きなメモリ層を持つCNN
• Authors: Rasul Karimov, Victor Lempitsky
• Abstract要約: この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。 メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
• 参考スコア（独自算出の注目度）: 2.368995563245609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work is centred around the recently proposed product key memory structure \cite{large_memory}, implemented for a number of computer vision applications. The memory structure can be regarded as a simple computation primitive suitable to be augmented to nearly all neural network architectures. The memory block allows implementing sparse access to memory with square root complexity scaling with respect to the memory capacity. The latter scaling is possible due to the incorporation of Cartesian product space decomposition of the key space for the nearest neighbour search. We have tested the memory layer on the classification, image reconstruction and relocalization problems and found that for some of those, the memory layers can provide significant speed/accuracy improvement with the high utilization of the key-value elements, while others require more careful fine-tuning and suffer from dying keys. To tackle the later problem we have introduced a simple technique of memory re-initialization which helps us to eliminate unused key-value pairs from the memory and engage them in training again. We have conducted various experiments and got improvements in speed and accuracy for classification and PoseNet relocalization models. We showed that the re-initialization has a huge impact on a toy example of randomly labeled data and observed some gains in performance on the image classification task. We have also demonstrated the generalization property perseverance of the large memory layers on the relocalization problem, while observing the spatial correlations between the images and the selected memory cells.
• Abstract（参考訳）: この作業は、最近提案された製品キーメモリ構造 \cite{large_Memory} を中心に、多くのコンピュータビジョンアプリケーションに実装されている。 メモリ構造は、ほぼ全てのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。 メモリブロックは、メモリ容量に関して平方根複雑性スケーリングで、メモリへのスパースアクセスを実装することができる。 後者のスケーリングは、最も近い近傍探索のための鍵空間のカルト積空間分解が組み込まれているため可能である。 メモリ層を分類,画像再構成,再ローカライズ問題でテストした結果,キー値要素の高利用によりメモリ層が大幅な高速化・精度向上を実現し,さらに注意深い微調整を要し,死の鍵に悩まされることが判明した。 後者の問題を解決するために、メモリ再初期化の簡単なテクニックを導入し、未使用のキー値ペアをメモリから排除し、再びトレーニングに従事できるようにしました。 我々は,様々な実験を行い,分類とポズネット再局在化モデルの速度と精度を改善した。 我々は,再初期化がランダムにラベル付けされたデータのおもちゃの例に大きな影響を与え,画像分類タスクの性能向上を観察した。 また,画像と選択したメモリセル間の空間相関を観測しながら,再局在化問題における大メモリ層の一般化特性の持続性を実証した。

関連論文リスト

• Associative Memories in the Feature Space [68.1903319310263]
  本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
  論文  参考訳（メタデータ） (2024-02-16T16:37:48Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• From seeing to remembering: Images with harder-to-reconstruct representations leave stronger memory traces [4.012995481864761]
  本稿では,画像の特徴埋め込みを圧縮するためのスパース符号化モデルを提案する。 シーン画像のオープンな記憶可能性データセットにおいて、再構成誤差は記憶精度だけでなく、検索中の応答遅延も説明し、後者の場合、強力な視覚のみのモデルによって説明されるすべての分散が説明されることを示す。
  論文  参考訳（メタデータ） (2023-02-21T01:40:32Z)
• Space Time Recurrent Memory Network [35.06536468525509]
  本研究では,空間時間領域における学習・推論問題に対する新しい視覚記憶ネットワークアーキテクチャを提案する。 このアーキテクチャは、ビデオオブジェクトのセグメンテーションとビデオ予測の問題に基づいてベンチマークされる。 我々のメモリアーキテクチャは、一定のメモリ容量を維持しつつ、最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-14T06:53:51Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)
• Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
  セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。 我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。 提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-14T13:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。