論文の概要: Rethinking The Memory Staleness Problem In Dynamics GNN
- arxiv url: http://arxiv.org/abs/2209.02462v1
- Date: Tue, 6 Sep 2022 13:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 14:50:06.251035
- Title: Rethinking The Memory Staleness Problem In Dynamics GNN
- Title(参考訳): Dynamics GNNにおけるメモリ安定性問題の再考
- Authors: Mor Ventura, Hadas Ben Atya, Dekel Brav
- Abstract要約: 不安定性問題は、イベントの欠如により、動的データを扱う際によく知られた問題である。
我々は,隣接ノードに加えて,最も類似したノードを挿入する新しい埋め込みモジュールを設計する。
提案法はTGNと類似した結果を得たが,若干改善した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The staleness problem is a well-known problem when working with dynamic data,
due to the absence of events for a long time. Since the memory of the node is
updated only when the node is involved in an event, its memory becomes stale.
Usually, it refers to a lack of events such as a temporal deactivation of a
social account. To overcome the memory staleness problem aggregate information
from the nodes neighbors memory in addition to the nodes memory. Inspired by
that, we design an updated embedding module that inserts the most similar node
in addition to the nodes neighbors. Our method achieved similar results to the
TGN, with a slight improvement. This could indicate a potential improvement
after fine-tuning our hyper-parameters, especially the time threshold, and
using a learnable similarity metric.
- Abstract(参考訳): 不安定性問題は、イベントの欠如により、動的データを扱う際によく知られた問題である。
ノードのメモリは、そのノードがイベントに関与している場合にのみ更新されるため、そのメモリは停滞する。
通常、社会的な説明の一時的な不活性化のような出来事の欠如を指す。
ノードメモリに加えて、隣接ノードメモリからの情報を集約するメモリ停滞問題を克服する。
そこで我々は,隣接ノードに加えて,最も類似したノードを挿入する新しい埋め込みモジュールを設計した。
提案法はTGNと類似した結果を得たが,若干改善した。
これはハイパーパラメータ、特に時間しきい値を微調整し、学習可能な類似度メトリクスを使用することで、潜在的な改善を示す可能性があります。
関連論文リスト
- Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - STAG: Enabling Low Latency and Low Staleness of GNN-based Services with
Dynamic Graphs [20.94927463359297]
本稿では,GNN ベースのサービスの低レイテンシと低安定化を実現する GNN サービスフレームワーク STAG を提案する。
実験の結果、STAGは更新フェーズを1.3x90.1xで加速し、応答遅延をわずかに増加させ、安定化時間を劇的に短縮することがわかった。
論文 参考訳(メタデータ) (2023-09-27T05:15:02Z) - Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。
本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。
我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
論文 参考訳(メタデータ) (2023-08-16T19:49:24Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-04-15T08:17:18Z) - TPGNN: Learning High-order Information in Dynamic Graphs via Temporal
Propagation [7.616789069832552]
本稿では,時間的伝搬に基づくグラフニューラルネットワーク,すなわちTPGNNを提案する。
Propagatorは、$k$-hop内のアンカーノードから一時的な隣人へのメッセージを伝搬し、同時に近隣の状態を更新する。
オーバースムーシングを防ぐため、モデルは$n$-hopの隣人からのメッセージを補完し、アンカーに保存された$n$-hopのメモリベクトルを更新する。
論文 参考訳(メタデータ) (2022-10-03T18:39:07Z) - Robust Knowledge Adaptation for Dynamic Graph Neural Networks [62.06754330340128]
AdaNetは、動的グラフニューラルネットワークのための堅牢な知識適応フレームワークである。
AdaNetは3つのベンチマークデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-07-22T02:06:53Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳(メタデータ) (2022-03-31T16:21:12Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳(メタデータ) (2021-06-10T09:26:56Z) - Rethinking Space-Time Networks with Improved Memory Coverage for
Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。
対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。
すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文 参考訳(メタデータ) (2021-06-09T16:50:57Z) - CNN with large memory layers [2.368995563245609]
この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。
メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
論文 参考訳(メタデータ) (2021-01-27T20:58:20Z) - Neural Storage: A New Paradigm of Elastic Memory [4.307341575886927]
コンピュータメモリ内のデータの保存と検索は、システム性能において大きな役割を果たす。
我々は、脳にインスパイアされた学習記憶パラダイムであるNeural Storage(NS)を導入し、メモリをフレキシブルなニューラルメモリネットワークとして構成する。
NSは2つの代表アプリケーションに対してメモリアクセス性能を大幅に改善する。
論文 参考訳(メタデータ) (2021-01-07T19:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。