論文の概要: Memory Efficient Neural Processes via Constant Memory Attention Block
- arxiv url: http://arxiv.org/abs/2305.14567v2
- Date: Fri, 29 Sep 2023 18:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 14:44:36.788307
- Title: Memory Efficient Neural Processes via Constant Memory Attention Block
- Title(参考訳): 定メモリアテンションブロックによるメモリ効率の良いニューラルプロセス
- Authors: Leo Feng, Frederick Tung, Hossein Hajimirsadeghi, Yoshua Bengio,
Mohamed Osama Ahmed
- Abstract要約: 最近の最先端の手法は高価な注意機構を利用し、応用を制限している。
本稿では,新しい汎用アテンションブロックであるConstant Memory Attention Block (CMAB)を提案する。
我々はCMANPがNPベンチマークで最先端の結果を得ることを示す。
- 参考スコア(独自算出の注目度): 59.8891512435847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Processes (NPs) are popular meta-learning methods for efficiently
modelling predictive uncertainty. Recent state-of-the-art methods, however,
leverage expensive attention mechanisms, limiting their applications,
particularly in low-resource settings. In this work, we propose Constant Memory
Attention Block (CMAB), a novel general-purpose attention block that (1) is
permutation invariant, (2) computes its output in constant memory, and (3)
performs updates in constant computation. Building on CMAB, we propose Constant
Memory Attentive Neural Processes (CMANPs), an NP variant which only requires
\textbf{constant} memory. Empirically, we show CMANPs achieve state-of-the-art
results on popular NP benchmarks (meta-regression and image completion) while
being significantly more memory efficient than prior methods.
- Abstract(参考訳): ニューラルプロセス(nps)は予測の不確かさを効率的にモデル化する一般的なメタラーニング手法である。
しかし、最近の最先端の手法は高価な注意の仕組みを利用し、特に低リソース設定でアプリケーションを制限する。
本研究では,(1) が置換不変であり,(2) 出力を定数メモリで計算し,(3) 定数計算で更新を行う新しい汎用注意ブロックである constant memory attention block (cmab) を提案する。
CMAB上に構築したCMANP(Constant Memory Attentive Neural Processs)は, NP の変種であり, メモリは \textbf{constant} のみである。
実験により、CMANPは、従来の手法よりもはるかにメモリ効率が良く、人気のあるNPベンチマーク(Meta-regressionと画像補完)で最先端の結果が得られることを示した。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳(メタデータ) (2023-07-14T21:01:59Z) - Constant Memory Attention Block [74.38724530521277]
Constant Memory Attention Block (CMAB) は、新しい汎用アテンションブロックであり、その出力を一定メモリで計算し、一定計算で更新を実行する。
提案手法は,メモリ効率を著しく向上しつつ,最先端技術と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T22:41:58Z) - Neural Attention Memory [6.345523830122167]
本稿では,ニューラルネットワーク,すなわちニューラルアテンションメモリ(NAM)のメモリアーキテクチャとして再発明することで,アテンションメカニズムの新たな視点を提案する。
NAM は可読性と可読性の両方を持つメモリ構造であり、微分可能な線形代数演算によって記述可能である。
NAMの3つのユースケースとして、メモリ拡張ニューラルネットワーク(MANN)、少数ショット学習、効率的な長距離注意(long-range attention)について検討する。
論文 参考訳(メタデータ) (2023-02-18T21:19:21Z) - Pex: Memory-efficient Microcontroller Deep Learning through Partial
Execution [11.336229510791481]
マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。
ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。
これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
論文 参考訳(メタデータ) (2022-11-30T18:47:30Z) - ABC: Attention with Bounded-memory Control [67.40631793251997]
我々は,有界メモリ制御 (ABC) を1つの抽象概念,すなわち有界メモリ制御 (ABC) に仮定できることを示した。
ABCが新たな可能性を明らかにしました。まずは、他の方法では見分けがつかないような、効率的なアテンションのバリエーションを接続します。
最後に,既存のABCアプローチからインスピレーションを得たABCの新しい事例を紹介する。
論文 参考訳(メタデータ) (2021-10-06T03:53:25Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳(メタデータ) (2021-02-20T18:40:40Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。