論文の概要: Efficient Memory Crystallization for Graph Learning under Non-Stationary Distribution Shifts
- arxiv url: http://arxiv.org/abs/2610.02795v1
- Date: Fri, 02 Oct 2026 04:35:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.20853
- Title: Efficient Memory Crystallization for Graph Learning under Non-Stationary Distribution Shifts
- Title(参考訳): 非定常分布シフトによるグラフ学習のための効率的なメモリ結晶化
- Abstract要約: ディープグラフ学習モデルは、静止しない環境に対処する必要があることが多い。
本稿では,各グラフ領域をコンパクトかつセマンティックに忠実なメモリに蒸留する,トレーニング不要なテストタイムフレームワークEMCを提案する。
実験では、非定常分布シフト下でのグラフ上の最先端のベースラインよりもEMCの方が優れた性能を示す。
- 参考スコア(独自算出の注目度): 15.43092254877282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep graph learning models deployed in real-world systems often need to cope with non-stationary environments, where the underlying graph distribution drifts continually over time. Prevailing solutions rely on training auxiliary generative modules to synthesize memory graphs for cross-domain adaptation, which incurs substantial computational overhead and scales poorly under prolonged distribution shifts. We argue that a more economical path exists: rather than generating memory, one can crystallize it. To this end, we propose Efficient Memory Crystallization (EMC), a training-free test-time framework that distills each incoming graph domain into a compact, semantically faithful memory through a closed-form solution to a memory-oriented distribution-matching objective, thereby eliminating redundant domain information under continual covariate shifts. To preserve both generalizability and adaptability as the model traverses a long sequence of target domains, EMC further models inter-domain dependencies through state-evolving memories and admits a theoretically grounded, tighter generalization error bound than direct adaptation. Extensive experiments demonstrate the superior performance of EMC over state-of-the-art baselines on graphs under non-stationary distribution shifts, while reducing average runtime by 87.4% and GPU memory consumption by 92.4% relative to the recent competitor, making continual graph adaptation practical at scale.
- Abstract(参考訳): 現実世界のシステムにデプロイされたディープグラフ学習モデルは、基礎となるグラフ分布が時間とともに継続的にドリフトする非定常環境に対処する必要があることが多い。
一般的なソリューションは、クロスドメイン適応のためにメモリグラフを合成するために補助的な生成モジュールを訓練することに依存しており、これはかなりの計算オーバーヘッドを発生させ、分散シフトが長引くとスケールが低下する。
メモリを生成するのではなく、それを結晶化することができるのです。
そこで本研究では,各グラフドメインを,メモリ指向の分散マッチング対象へのクローズドフォームソリューションを通じて,コンパクトかつセマンティックに忠実なメモリに蒸留し,連続的な共変量シフトの下で冗長なドメイン情報を除去する,学習不要なテストタイムフレームワークEMCを提案する。
モデルがターゲットドメインの長い列を横切るにつれて、一般化可能性と適応性の両方を維持するため、EMCはさらにドメイン間の依存関係を状態進化記憶を通じてモデル化し、直接適応よりも理論上は基底的で厳密な一般化誤差を許容する。
大規模な実験では、非定常分布シフト下でのグラフ上の最先端のベースラインよりもEMCの方が優れた性能を示し、一方、平均実行時間を87.4%削減し、GPUメモリ消費を92.4%削減し、連続的なグラフ適応を大規模に実現している。
関連論文リスト
- Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。
本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文 参考訳(メタデータ) (2026-06-21T12:14:11Z) - Position: Graph Condensation Needs a Reset -- Move Beyond Full-dataset Training and Model-Dependence [26.234880574328823]
グラフの凝縮は、現在の形では、リセットが必要であると我々は主張する。
私たちは、フルデータセットのトレーニングとモデルに依存した設計を超えて移行することを呼びかけています。
我々は、凝縮の真の約束を果たすアプローチに向けて、分野を再編成することを目指している。
論文 参考訳(メタデータ) (2026-05-17T07:08:22Z) - GCAL: Adapting Graph Models to Evolving Domain Shifts [24.035518818536445]
本稿では,様々なグラフ領域におけるモデル持続可能性と適応性を高めるために,GCAL法を提案する。
アダプティブ"フェーズは、過去の記憶を忘れないように再アダプティブしながら、新しいグラフドメインでモデルを微調整する情報アプローチを使用する。
情報ボトルネック理論から導かれる理論的な下界によって導かれる「生成メモリ」フェーズは、元のグラフをメモリに凝縮させる変分記憶グラフ生成モジュールを含む。
論文 参考訳(メタデータ) (2025-05-22T16:19:19Z) - Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。
本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。
モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
論文 参考訳(メタデータ) (2025-02-11T05:40:52Z) - MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15~40%向上している。
論文 参考訳(メタデータ) (2024-10-30T05:10:38Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳(メタデータ) (2024-07-10T10:22:35Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳(メタデータ) (2023-10-18T02:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。