論文の概要: Constant Memory Attentive Neural Processes

• arxiv url: http://arxiv.org/abs/2305.14567v1
• Date: Tue, 23 May 2023 23:10:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 21:29:24.730810
• Title: Constant Memory Attentive Neural Processes
• Title（参考訳）: 定記憶注意神経プロセス
• Authors: Leo Feng, Frederick Tung, Hossein Hajimirsadeghi, Yoshua Bengio, Mohamed Osama Ahmed
• Abstract要約: CMANP(Constant Memory Attentive Neural Processs)は、予測の不確かさを推定する効率的な方法である。 我々は,CMANPがメタ回帰および画像補完タスクにおける最先端の結果を得ることを示す。
• 参考スコア（独自算出の注目度）: 74.38724530521277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Processes (NPs) are efficient methods for estimating predictive uncertainties. NPs comprise of a conditioning phase where a context dataset is encoded, a querying phase where the model makes predictions using the context dataset encoding, and an updating phase where the model updates its encoding with newly received datapoints. However, state-of-the-art methods require additional memory which scales linearly or quadratically with the size of the dataset, limiting their applications, particularly in low-resource settings. In this work, we propose Constant Memory Attentive Neural Processes (CMANPs), an NP variant which only requires constant memory for the conditioning, querying, and updating phases. In building CMANPs, we propose Constant Memory Attention Block (CMAB), a novel general-purpose attention block that can compute its output in constant memory and perform updates in constant computation. Empirically, we show CMANPs achieve state-of-the-art results on meta-regression and image completion tasks while being (1) significantly more memory efficient than prior methods and (2) more scalable to harder settings.
• Abstract（参考訳）: ニューラルプロセス(NP)は予測の不確実性を推定するための効率的な方法である。 npsは、コンテキストデータセットをエンコードするコンディショニングフェーズと、コンテキストデータセットエンコーディングを使用してモデルが予測を行うクエリフェーズと、モデルが新たに受信したデータポイントでエンコーディングを更新する更新フェーズとからなる。 しかし、最先端の手法では、特に低リソースの環境では、データセットのサイズに合わせて線形または二次的にスケールする追加メモリが必要である。 本研究では, 条件付け, クエリ, 更新フェーズにのみ一定のメモリを必要とするNP変種であるCMANP(Constant Memory Attentive Neural Processs)を提案する。 cmanpsを構築する際に,その出力を一定メモリで計算し,定数計算で更新可能な,新しい汎用注意ブロックであるconstant memory attention block (cmab)を提案する。 実験により,CMANPは,(1)従来の手法よりもメモリ効率が高く,(2)より拡張性が高い,という条件下で,メタ回帰および画像補完タスクにおける最先端の処理結果が得られることを示した。

関連論文リスト

• Logarithmic Memory Networks (LMNs): Efficient Long-Range Sequence Modeling for Resource-Constrained Environments [0.0]
  本稿では,階層型対数木構造を利用して過去の情報を効率的に保存・取得する新しいアーキテクチャである,対数記憶ネットワーク(LMN)を紹介する。 LMNは歴史的文脈を動的に要約し、注意機構のメモリフットプリントと計算複雑性を著しく低減する。 これらの特徴により、LMNsはリソース制約のある環境で長距離シーケンスを処理するための堅牢でスケーラブルなソリューションとなる。
  論文  参考訳（メタデータ） (2025-01-14T07:50:09Z)
• Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference of Deep Learning [5.41530201129053]
  本稿では,新しい暗記ベース推論(MBI)を提案する。 具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。 低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。 計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
  論文  参考訳（メタデータ） (2023-07-14T21:01:59Z)
• Constant Memory Attention Block [74.38724530521277]
  Constant Memory Attention Block (CMAB) は、新しい汎用アテンションブロックであり、その出力を一定メモリで計算し、一定計算で更新を実行する。 提案手法は,メモリ効率を著しく向上しつつ,最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T22:41:58Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Neural Attention Memory [6.345523830122167]
  本稿では,ニューラルネットワーク,すなわちニューラルアテンションメモリ(NAM)のメモリアーキテクチャとして再発明することで,アテンションメカニズムの新たな視点を提案する。 NAM は可読性と可読性の両方を持つメモリ構造であり、微分可能な線形代数演算によって記述可能である。 NAMの3つのユースケースとして、メモリ拡張ニューラルネットワーク(MANN)、少数ショット学習、効率的な長距離注意(long-range attention)について検討する。
  論文  参考訳（メタデータ） (2023-02-18T21:19:21Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Pex: Memory-efficient Microcontroller Deep Learning through Partial Execution [11.336229510791481]
  マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。 ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。 これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
  論文  参考訳（メタデータ） (2022-11-30T18:47:30Z)
• ABC: Attention with Bounded-memory Control [67.40631793251997]
  我々は,有界メモリ制御 (ABC) を1つの抽象概念,すなわち有界メモリ制御 (ABC) に仮定できることを示した。 ABCが新たな可能性を明らかにしました。まずは、他の方法では見分けがつかないような、効率的なアテンションのバリエーションを接続します。 最後に,既存のABCアプローチからインスピレーションを得たABCの新しい事例を紹介する。
  論文  参考訳（メタデータ） (2021-10-06T03:53:25Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。