Fugu-MT 論文翻訳(概要): Rethinking The Memory Staleness Problem In Dynamics GNN

論文の概要: Rethinking The Memory Staleness Problem In Dynamics GNN

arxiv url: http://arxiv.org/abs/2209.02462v1
Date: Tue, 6 Sep 2022 13:02:24 GMT
ステータス: 処理完了
システム内更新日: 2022-09-07 14:50:06.251035
Title: Rethinking The Memory Staleness Problem In Dynamics GNN
Title（参考訳）: Dynamics GNNにおけるメモリ安定性問題の再考
Authors: Mor Ventura, Hadas Ben Atya, Dekel Brav
Abstract要約: 不安定性問題は、イベントの欠如により、動的データを扱う際によく知られた問題である。我々は,隣接ノードに加えて,最も類似したノードを挿入する新しい埋め込みモジュールを設計する。提案法はTGNと類似した結果を得たが,若干改善した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The staleness problem is a well-known problem when working with dynamic data, due to the absence of events for a long time. Since the memory of the node is updated only when the node is involved in an event, its memory becomes stale. Usually, it refers to a lack of events such as a temporal deactivation of a social account. To overcome the memory staleness problem aggregate information from the nodes neighbors memory in addition to the nodes memory. Inspired by that, we design an updated embedding module that inserts the most similar node in addition to the nodes neighbors. Our method achieved similar results to the TGN, with a slight improvement. This could indicate a potential improvement after fine-tuning our hyper-parameters, especially the time threshold, and using a learnable similarity metric.
Abstract（参考訳）: 不安定性問題は、イベントの欠如により、動的データを扱う際によく知られた問題である。ノードのメモリは、そのノードがイベントに関与している場合にのみ更新されるため、そのメモリは停滞する。通常、社会的な説明の一時的な不活性化のような出来事の欠如を指す。ノードメモリに加えて、隣接ノードメモリからの情報を集約するメモリ停滞問題を克服する。そこで我々は,隣接ノードに加えて,最も類似したノードを挿入する新しい埋め込みモジュールを設計した。提案法はTGNと類似した結果を得たが,若干改善した。これはハイパーパラメータ、特に時間しきい値を微調整し、学習可能な類似度メトリクスを使用することで、潜在的な改善を示す可能性があります。

関連論文リスト

Towards Dynamic Message Passing on Graphs [104.06474765596687]
グラフニューラルネットワーク(GNN)のための新しい動的メッセージパッシング機構を提案する。グラフノードと学習可能な擬似ノードを、測定可能な空間関係を持つ共通空間に投影する。ノードが空間内を移動すると、その進化する関係は動的メッセージパッシングプロセスのための柔軟な経路構築を促進する。
論文参考訳（メタデータ） (2024-10-31T07:20:40Z)
Improved Robustness and Hyperparameter Selection in the Dense Associative Memory [1.2289361708127877]
Dense Associative Memoryは、よりシャープな相互作用関数を可能にすることでホップフィールドネットワークを一般化する。しかし、ネットワークの実装は、メモリベクトルとプローブベクトルのドット積に大きな指数を適用することに依存している。計算問題を詳細に記述し、元のネットワーク記述を変更して問題を緩和し、その修正がネットワークのダイナミクスを変えないことを示す。
論文参考訳（メタデータ） (2024-05-29T01:23:19Z)
Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文参考訳（メタデータ） (2024-01-24T03:03:17Z)
STAG: Enabling Low Latency and Low Staleness of GNN-based Services with Dynamic Graphs [20.94927463359297]
本稿では,GNN ベースのサービスの低レイテンシと低安定化を実現する GNN サービスフレームワーク STAG を提案する。実験の結果、STAGは更新フェーズを1.3x90.1xで加速し、応答遅延をわずかに増加させ、安定化時間を劇的に短縮することがわかった。
論文参考訳（メタデータ） (2023-09-27T05:15:02Z)
Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
論文参考訳（メタデータ） (2023-08-16T19:49:24Z)
Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-04-15T08:17:18Z)
TPGNN: Learning High-order Information in Dynamic Graphs via Temporal Propagation [7.616789069832552]
本稿では,時間的伝搬に基づくグラフニューラルネットワーク,すなわちTPGNNを提案する。 Propagatorは、$k$-hop内のアンカーノードから一時的な隣人へのメッセージを伝搬し、同時に近隣の状態を更新する。オーバースムーシングを防ぐため、モデルは$n$-hopの隣人からのメッセージを補完し、アンカーに保存された$n$-hopのメモリベクトルを更新する。
論文参考訳（メタデータ） (2022-10-03T18:39:07Z)
Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。 3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2022-07-22T02:06:53Z)
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文参考訳（メタデータ） (2021-06-10T09:26:56Z)
Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文参考訳（メタデータ） (2021-06-09T16:50:57Z)
Neural Storage: A New Paradigm of Elastic Memory [4.307341575886927]
コンピュータメモリ内のデータの保存と検索は、システム性能において大きな役割を果たす。我々は、脳にインスパイアされた学習記憶パラダイムであるNeural Storage(NS)を導入し、メモリをフレキシブルなニューラルメモリネットワークとして構成する。 NSは2つの代表アプリケーションに対してメモリアクセス性能を大幅に改善する。
論文参考訳（メタデータ） (2021-01-07T19:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。