論文の概要: Learnable Spatial-Temporal Positional Encoding for Link Prediction

• arxiv url: http://arxiv.org/abs/2506.08309v1
• Date: Tue, 10 Jun 2025 00:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.957605
• Title: Learnable Spatial-Temporal Positional Encoding for Link Prediction
• Title（参考訳）: リンク予測のための学習可能な時空間位置符号化
• Authors: Katherine Tieu, Dongqi Fu, Zihao Li, Ross Maciejewski, Jingrui He,
• Abstract要約: L-STEP という単純な時間リンク予測モデルを提案する。 nameは最新の大規模TGBベンチマークで主要なパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 44.0907827498725
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate predictions rely on the expressiveness power of graph deep learning frameworks like graph neural networks and graph transformers, where a positional encoding mechanism has become much more indispensable in recent state-of-the-art works to record the canonical position information. However, the current positional encoding is limited in three aspects: (1) most positional encoding methods use pre-defined, and fixed functions, which are inadequate to adapt to the complex attributed graphs; (2) a few pioneering works proposed the learnable positional encoding but are still limited to the structural information, not considering the real-world time-evolving topological and feature information; (3) most positional encoding methods are equipped with transformers' attention mechanism to fully leverage their capabilities, where the dense or relational attention is often unaffordable on large-scale structured data. Hence, we aim to develop Learnable Spatial-Temporal Positional Encoding in an effective and efficient manner and propose a simple temporal link prediction model named L-STEP. Briefly, for L-STEP, we (1) prove the proposed positional learning scheme can preserve the graph property from the spatial-temporal spectral viewpoint, (2) verify that MLPs can fully exploit the expressiveness and reach transformers' performance on that encoding, (3) change different initial positional encoding inputs to show robustness, (4) analyze the theoretical complexity and obtain less empirical running time than SOTA, and (5) demonstrate its temporal link prediction out-performance on 13 classic datasets and with 10 algorithms in both transductive and inductive settings using 3 different sampling strategies. Also, \name\ obtains the leading performance in the newest large-scale TGB benchmark. Our code is available at https://github.com/kthrn22/L-STEP.
• Abstract（参考訳）: 正確な予測は、グラフニューラルネットワークやグラフトランスフォーマーのようなグラフ深層学習フレームワークの表現力に依存している。 しかし、現在の位置符号化法は、(1)複雑な属性グラフに適応するのに不適な事前定義および固定関数、(2)学習可能な位置符号化を提案したが、実際の時間進化的トポロジカルおよび特徴情報を考慮していないいくつかの先駆的な研究、(3)ほとんどの位置符号化法はトランスフォーマの注意機構を備え、その機能を完全に活用する。 そこで我々は,L-STEPというシンプルな時間的リンク予測モデルを提案する。 L-STEP では,(1) 提案した位置学習手法が空間時間スペクトルの観点からグラフ特性を保存可能であること,(2) MLP が表現性を完全に活用して変換器の性能に到達できること,(3) 異なる初期位置符号化入力を変更してロバスト性を示すこと,(4) 理論的複雑さを解析してSOTA よりも経験的実行時間が少ないこと,(5) 古典的データセット 13 件の時間的リンク予測を, トランスダクティブおよびインダクティブな設定で, 3 つの異なるサンプリング戦略を用いて10 件のアルゴリズムで実証する。 また、 \name\は最新の大規模TGBベンチマークで主要なパフォーマンスを得る。 私たちのコードはhttps://github.com/kthrn22/L-STEPで公開されています。

関連論文リスト

• Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
  階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-02T18:07:55Z)
• Understanding and Improving Laplacian Positional Encodings For Temporal GNNs [24.209908552258632]
  本稿では,超ラプラシアンエンコーディングと時間スライスエンコーディングを接続する理論的枠組みを提案する。 また,5万のアクティブノードを持つグラフにスケーリングしながら,最大56倍の高速実行を実現し,計算オーバーヘッドを削減する新たな手法も導入する。 その結果, 位置符号化は特定のシナリオにおける性能を著しく向上させるが, その効果はモデルによって異なることがわかった。
  論文  参考訳（メタデータ） (2025-06-02T12:30:58Z)
• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。 本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary [1.4594704809280983]
  位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
  論文  参考訳（メタデータ） (2024-01-31T23:32:20Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• Trading Positional Complexity vs. Deepness in Coordinate Networks [33.90893096003318]
  代替の非フーリエ埋め込み関数が実際に位置符号化に利用できることを示す。 それらの性能は、組込み行列の安定ランクと組込み座標間の距離保存の間のトレードオフによって決定される。 我々は、より複雑な位置符号化 -- モードの数と指数関数的にスケールする -- を利用することは、同等のパフォーマンスを達成するために線形(ディープではなく)座標関数のみを必要とすると論じる。
  論文  参考訳（メタデータ） (2022-05-18T15:17:09Z)
• ZippyPoint: Fast Interest Point Detection, Description, and Matching through Mixed Precision Discretization [71.91942002659795]
  我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。 バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。 これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
  論文  参考訳（メタデータ） (2022-03-07T18:59:03Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。