論文の概要: Constant Memory Attention Block
- arxiv url: http://arxiv.org/abs/2306.12599v1
- Date: Wed, 21 Jun 2023 22:41:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 15:54:20.997395
- Title: Constant Memory Attention Block
- Title(参考訳): 定記憶注意ブロック
- Authors: Leo Feng, Frederick Tung, Hossein Hajimirsadeghi, Yoshua Bengio,
Mohamed Osama Ahmed
- Abstract要約: Constant Memory Attention Block (CMAB) は、新しい汎用アテンションブロックであり、その出力を一定メモリで計算し、一定計算で更新を実行する。
提案手法は,メモリ効率を著しく向上しつつ,最先端技術と競合する結果が得られることを示す。
- 参考スコア(独自算出の注目度): 74.38724530521277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern foundation model architectures rely on attention mechanisms to
effectively capture context. However, these methods require linear or quadratic
memory in terms of the number of inputs/datapoints, limiting their
applicability in low-compute domains. In this work, we propose Constant Memory
Attention Block (CMAB), a novel general-purpose attention block that computes
its output in constant memory and performs updates in constant computation.
Highlighting CMABs efficacy, we introduce methods for Neural Processes and
Temporal Point Processes. Empirically, we show our proposed methods achieve
results competitive with state-of-the-art while being significantly more memory
efficient.
- Abstract(参考訳): 現代の基礎モデルアーキテクチャは、コンテキストを効果的に捉えるための注意機構に依存している。
しかし、これらの手法は入力/データポイントの数の観点から線形または二次記憶を必要とするため、低計算領域での適用性が制限される。
本研究では,その出力を定数メモリで計算し,定数計算で更新を行う新しい汎用注意ブロックである constant memory attention block (cmab) を提案する。
cmabsの有効性を強調するために,神経過程と時間点過程の手法を紹介する。
実験により,提案手法は最先端技術と競合し,メモリ効率は著しく向上した。
関連論文リスト
- Bifurcated Attention for Single-Context Large-Batch Sampling [39.16152482491236]
Bifurcated attentionは、単一コンテキストのバッチサンプリングコンテキストにおける言語モデル推論のために開発された手法である。
2つの異なるGEMM演算にインクリメンタルデコーディング中にアテンション機構を分割することで、この処理を実現する。
論文 参考訳(メタデータ) (2024-03-13T16:30:57Z) - MAMBA: Multi-level Aggregation via Memory Bank for Video Object
Detection [35.16197118579414]
我々は,MAMBAと呼ばれるメモリバンクを用いたマルチレベル集約アーキテクチャを提案する。
具体的には,既存の手法の欠点を解消するために,メモリバンクが2つの新しい操作を施している。
従来の最先端手法と比較して,提案手法は速度と精度の両面で優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-01-18T12:13:06Z) - Compressing the Backward Pass of Large-Scale Neural Architectures by
Structured Activation Pruning [0.0]
ディープニューラルネットワーク(DNN)におけるスパシティはソリューションとして注目されている。
この研究は、訓練中のメモリ消費を減らすことを目的として、短命の空間性に焦点を当てている。
大規模ニューラルアーキテクチャのトレーニング速度,精度,メモリ使用量を評価することにより,アクティベーションプルーニングの有効性を報告する。
論文 参考訳(メタデータ) (2023-11-28T15:31:31Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Joint Modeling of Feature, Correspondence, and a Compressed Memory for
Video Object Segmentation [52.11279360934703]
現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。
本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
論文 参考訳(メタデータ) (2023-08-25T17:30:08Z) - Memory Efficient Neural Processes via Constant Memory Attention Block [59.8891512435847]
最近の最先端の手法は高価な注意機構を利用し、応用を制限している。
本稿では,新しい汎用アテンションブロックであるConstant Memory Attention Block (CMAB)を提案する。
我々はCMANPがNPベンチマークで最先端の結果を得ることを示す。
論文 参考訳(メタデータ) (2023-05-23T23:10:19Z) - ABC: Attention with Bounded-memory Control [67.40631793251997]
我々は,有界メモリ制御 (ABC) を1つの抽象概念,すなわち有界メモリ制御 (ABC) に仮定できることを示した。
ABCが新たな可能性を明らかにしました。まずは、他の方法では見分けがつかないような、効率的なアテンションのバリエーションを接続します。
最後に,既存のABCアプローチからインスピレーションを得たABCの新しい事例を紹介する。
論文 参考訳(メタデータ) (2021-10-06T03:53:25Z) - Generalizable Episodic Memory for Deep Reinforcement Learning [22.375796383623566]
本稿では,エピソジックメモリの状態動作値を汎用的に整理する汎用的エピソジックメモリ(gem)を提案する。
GEMは暗記軌道の暗黙的な計画をサポートする。
実験により,MuJoCo連続制御タスクにおける既存のトラジェクトリベース手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-03-11T05:31:21Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳(メタデータ) (2021-02-20T18:40:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。