論文の概要: Temporal Generalization Estimation in Evolving Graphs
- arxiv url: http://arxiv.org/abs/2404.04969v1
- Date: Sun, 7 Apr 2024 14:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 18:22:15.418261
- Title: Temporal Generalization Estimation in Evolving Graphs
- Title（参考訳）: 進化グラフにおける時間的一般化推定
- Authors: Bin Lu, Tingyan Ma, Xiaoying Gan, Xinbing Wang, Yunqiang Zhu, Chenghu Zhou, Shiyu Liang,
- Abstract要約: グラフニューラルネットワーク(GNN)は広い分野に広くデプロイされているが、グラフが進化するにつれて正確な表現を維持するのに苦労することが多い。
理論的には下界を確立し、穏やかな条件下では、表現歪みが時間の経過とともに必然的に起こることを証明した。
本稿では,自己教師付きグラフ再構成による適応的特徴抽出器によって強化された,単純で効果的なベースラインであるSmartを紹介する。
- 参考スコア（独自算出の注目度）: 35.859484484574956
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph Neural Networks (GNNs) are widely deployed in vast fields, but they often struggle to maintain accurate representations as graphs evolve. We theoretically establish a lower bound, proving that under mild conditions, representation distortion inevitably occurs over time. To estimate the temporal distortion without human annotation after deployment, one naive approach is to pre-train a recurrent model (e.g., RNN) before deployment and use this model afterwards, but the estimation is far from satisfactory. In this paper, we analyze the representation distortion from an information theory perspective, and attribute it primarily to inaccurate feature extraction during evolution. Consequently, we introduce Smart, a straightforward and effective baseline enhanced by an adaptive feature extractor through self-supervised graph reconstruction. In synthetic random graphs, we further refine the former lower bound to show the inevitable distortion over time and empirically observe that Smart achieves good estimation performance. Moreover, we observe that Smart consistently shows outstanding generalization estimation on four real-world evolving graphs. The ablation studies underscore the necessity of graph reconstruction. For example, on OGB-arXiv dataset, the estimation metric MAPE deteriorates from 2.19% to 8.00% without reconstruction.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は広い分野に広くデプロイされているが、グラフが進化するにつれて正確な表現を維持するのに苦労することが多い。
理論的には下界を確立し、穏やかな条件下では、表現歪みが時間の経過とともに必然的に起こることを証明した。
デプロイ後,人間のアノテーションを使わずに時間歪みを推定するには,デプロイ前に繰り返しモデル(例えばRNN)を事前トレーニングし,その後でこのモデルを使用すればよいが,その推定は十分ではない。
本稿では,情報理論の観点から表現歪みを解析し,進化過程における特徴抽出の不正確さを主因とする。
そこで我々は,自己教師付きグラフ再構成により適応的特徴抽出器によって強化された,単純で効果的なベースラインであるSmartを導入する。
合成ランダムグラフでは、時間とともに避けられない歪みを示すために、前者の下界をさらに洗練し、Smartが優れた推定性能を達成することを実証的に観察する。
さらに、我々は4つの実世界の進化グラフに対して、Smartが卓越した一般化推定を一貫して示すことを観察した。
アブレーション研究は、グラフ再構成の必要性を浮き彫りにした。
例えば、OGB-arXivデータセットでは、推定基準MAPEは再構成なしで2.19%から8.00%に劣化する。
関連論文リスト
- Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality [39.476378833827184]
動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。
時空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。
STRIPEは、AUCスコアが5.8%改善し、トレーニング時間が4.62倍速く、既存の手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2024-03-14T02:26:10Z) - Investigating the Histogram Loss in Regression [16.83443393563771]
ヒストグラムロス(Histogram Loss)は、対象変数の条件分布を学習するための回帰手法である。
この設定における学習分布の利点は、余分な情報をモデル化するのではなく、最適化の改善によるものであることを示す。
論文 参考訳（メタデータ） (2024-02-20T23:29:41Z) - Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳（メタデータ） (2024-02-18T07:49:22Z) - ADA-GAD: Anomaly-Denoised Autoencoders for Graph Anomaly Detection [84.0718034981805]
我々はAnomaly-Denoized Autoencoders for Graph Anomaly Detection (ADA-GAD)という新しいフレームワークを導入する。
第1段階では,異常レベルを低減したグラフを生成する学習自由な異常化拡張法を設計する。
次の段階では、デコーダは元のグラフで検出するために再訓練される。
論文 参考訳（メタデータ） (2023-12-22T09:02:01Z) - Temporal Graph Neural Networks for Irregular Data [14.653008985229615]
TGNN4Iモデルは、不規則な時間ステップとグラフの部分的な観察の両方を扱うように設計されている。
時間連続力学により、任意の時間ステップでモデルを予測できる。
交通・気候モデルによるシミュレーションデータと実世界のデータの実験は、グラフ構造と時間連続力学の両方の有用性を検証する。
論文 参考訳（メタデータ） (2023-02-16T16:47:55Z) - Learning to Reconstruct Missing Data from Spatiotemporal Graphs with
Sparse Observations [11.486068333583216]
本稿では、欠落したデータポイントを再構築するための効果的なモデル学習の課題に取り組む。
我々は,高度にスパースな観測値の集合を与えられた注意に基づくアーキテクチャのクラスを提案し,時間と空間における点の表現を学習する。
技術状況と比較して、我々のモデルは予測エラーを伝播したり、前方および後方の時間依存性をエンコードするために双方向モデルを必要とすることなくスパースデータを処理します。
論文 参考訳（メタデータ） (2022-05-26T16:40:48Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Confidence Adaptive Anytime Pixel-Level Recognition [86.75784498879354]
任意の時間推論は、いつでも停止される可能性のある予測の進行を行うモデルを必要とする。
我々は,任意のピクセルレベルの認識に対して,最初の統一とエンドツーエンドのモデルアプローチを提案する。
論文 参考訳（メタデータ） (2021-04-01T20:01:57Z) - Residual Correlation in Graph Neural Network Regression [39.54530450932135]
我々は条件付き独立仮定が予測力を著しく制限していることを示します。
この問題を解釈可能かつ効率的なフレームワークで解決する。
我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
論文 参考訳（メタデータ） (2020-02-19T16:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。