論文の概要: Topology-aware Embedding Memory for Continual Learning on Expanding Networks

• arxiv url: http://arxiv.org/abs/2401.13200v2
• Date: Fri, 16 Feb 2024 04:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 19:21:03.500233
• Title: Topology-aware Embedding Memory for Continual Learning on Expanding Networks
• Title（参考訳）: 拡張ネットワーク上での連続学習のためのトポロジーアウェア埋め込みメモリ
• Authors: Xikun Zhang, Dongjin Song, Yixin Chen, Dacheng Tao
• Abstract要約: メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。 しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。 我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。 本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
• 参考スコア（独自算出の注目度）: 69.21427519408016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory replay based techniques have shown great success for continual learning with incrementally accumulated Euclidean data. Directly applying them to continually expanding networks, however, leads to the potential memory explosion problem due to the need to buffer representative nodes and their associated topological neighborhood structures. To this end, we systematically analyze the key challenges in the memory explosion problem, and present a general framework, i.e., Parameter Decoupled Graph Neural Networks (PDGNNs) with Topology-aware Embedding Memory (TEM), to tackle this issue. The proposed framework not only reduces the memory space complexity from $\mathcal{O}(nd^L)$ to $\mathcal{O}(n)$, but also fully utilizes the topological information for memory replay. Specifically, PDGNNs decouple trainable parameters from the computation ego-subnetwork via $\textit{Topology-aware Embeddings}$ (TEs), which compress ego-subnetworks into compact vectors (i.e., TEs) to reduce the memory consumption. Based on this framework, we discover a unique $\textit{pseudo-training effect}$ in continual learning on expanding networks and this effect motivates us to develop a novel $\textit{coverage maximization sampling}$ strategy that can enhance the performance with a tight memory budget. Thorough empirical studies demonstrate that, by tackling the memory explosion problem and incorporating topological information into memory replay, PDGNNs with TEM significantly outperform state-of-the-art techniques, especially in the challenging class-incremental setting.
• Abstract（参考訳）: メモリリプレイに基づく手法は、漸進的に蓄積されたユークリッドデータを用いた連続学習において大きな成功を収めている。 しかしながら、それらを連続的に拡大するネットワークに直接適用することは、代表ノードとその関連するトポロジカルな近傍構造をバッファリングする必要があるため、潜在的なメモリ爆発問題につながる。 この目的のために,メモリ爆発問題における重要な課題を体系的に分析し,この問題を解決するため,パラメータ分離グラフニューラルネットワーク(PDGNN)とトポロジ対応埋め込みメモリ(TEM)を併用した一般的なフレームワークを提案する。 提案するフレームワークはメモリ空間の複雑さを$\mathcal{O}(nd^L)$から$\mathcal{O}(n)$に削減するだけでなく、メモリ再生のためのトポロジ情報を完全に活用する。 具体的には、PDGNNは、トレーニング可能なパラメータを$\textit{Topology-aware Embeddings}$ (TEs)で計算エゴサブネットから切り離して、エゴサブネットをコンパクトなベクトル(TEs)に圧縮し、メモリ消費を減らす。 このフレームワークに基づき、拡張ネットワーク上での連続学習においてユニークな$\textit{pseudo-training effect}$を発見し、この効果はタイトなメモリ予算でパフォーマンスを向上させる新しい$\textit{coverage maximization sampling}$戦略を開発する動機となる。 メモリ爆発問題に対処し、トポロジカル情報をメモリリプレイに組み込むことで、TEMを用いたPDGNNは、特に挑戦的なクラスインクリメンタルセッティングにおいて、最先端技術よりも著しく優れていることを示した。

関連論文リスト

• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
  スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。 本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。 我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
  論文  参考訳（メタデータ） (2023-08-16T19:49:24Z)
• Understanding Sparse Neural Networks from their Topology via Multipartite Graph Representations [4.07484910093752]
  Pruning-at-Initialization (PaI)アルゴリズムは、SNN(Sparse Networks)を提供する。 しかし,SNNのトポロジカルな指標が,優れたパフォーマンスを特徴付けていることはいまだ分かっていない。 線形層と畳み込み層の両方を持つSNNのための包括的トポロジ解析を,(i)新しい入力対応マルチパートグラフ(MGE)を用いて設計し,SNNのための総合的トポロジ解析を行う。
  論文  参考訳（メタデータ） (2023-05-26T12:45:58Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。