論文の概要: Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution
- arxiv url: http://arxiv.org/abs/2310.03032v3
- Date: Fri, 27 Sep 2024 02:34:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 06:54:17.749791
- Title: Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution
- Title(参考訳): 構造対応レコメンデーションインベディング進化のためのグラフ付最適化器
- Authors: Cong Xu, Jun Wang, Jianyong Wang, Wei Zhang,
- Abstract要約: 本稿では,新しい組込み更新機構であるStructure-Aware Embedding Evolution (SEvo)を提案する。
通常、中間モジュールとして機能するGNNとは異なり、SEvoはグラフ構造情報を直接埋め込みに注入することができる。
SEvoは、最先端のパフォーマンスのために既存のレコメンデータシステムにシームレスに統合できる。
- 参考スコア(独自算出の注目度): 14.012470465446475
- License:
- Abstract: Embedding plays a key role in modern recommender systems because they are virtual representations of real-world entities and the foundation for subsequent decision-making models. In this paper, we propose a novel embedding update mechanism, Structure-aware Embedding Evolution (SEvo for short), to encourage related nodes to evolve similarly at each step. Unlike GNN (Graph Neural Network) that typically serves as an intermediate module, SEvo is able to directly inject graph structural information into embedding with minimal computational overhead during training. The convergence properties of SEvo along with its potential variants are theoretically analyzed to justify the validity of the designs. Moreover, SEvo can be seamlessly integrated into existing optimizers for state-of-the-art performance. Particularly SEvo-enhanced AdamW with moment estimate correction demonstrates consistent improvements across a spectrum of models and datasets, suggesting a novel technical route to effectively utilize graph structural information beyond explicit GNN modules.
- Abstract(参考訳): 埋め込みは、現実世界の実体の仮想表現であり、その後の意思決定モデルの基礎であるため、現代のレコメンデーションシステムにおいて重要な役割を果たす。
本稿では,新しい組込み更新機構であるSEvo(Structure-aware Embedding Evolution)を提案する。
通常、中間モジュールとして機能するGNN(Graph Neural Network)とは異なり、SEvoはトレーニング中に最小の計算オーバーヘッドでグラフ構造情報を埋め込みに直接注入することができる。
SEvoの収束特性とその潜在的な変種は、設計の有効性を正当化するために理論的に解析される。
さらに、SEvoは最先端のパフォーマンスのために既存のオプティマイザにシームレスに統合できる。
特に、モーメント推定補正を施したSevo強化AdamWは、モデルとデータセットの範囲で一貫した改善を示し、明示的なGNNモジュールを超えてグラフ構造情報を効果的に活用する新たな技術経路を示唆している。
関連論文リスト
- A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳(メタデータ) (2024-06-19T22:30:08Z) - Learning Invariant Representations of Graph Neural Networks via Cluster
Generalization [58.68231635082891]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングでますます人気が高まっている。
本稿では,構造変化が発生した場合,GNNの性能が著しく低下することが実験的に確認された。
本稿では,GNNの不変表現を学習するクラスタ情報伝達(CIT)機構を提案する。
論文 参考訳(メタデータ) (2024-03-06T10:36:56Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳(メタデータ) (2024-01-28T06:43:13Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Unbiased Learning of Deep Generative Models with Structured Discrete
Representations [7.9057320008285945]
構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。
我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。
メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
論文 参考訳(メタデータ) (2023-06-14T03:59:21Z) - Revisiting Structured Variational Autoencoders [11.998116457994994]
構造化変動オートエンコーダ(SVAE)は、潜伏変数の確率的グラフィカルモデル、観測データに潜伏変数をリンクするディープニューラルネットワーク、近似後部推論のための構造探索アルゴリズムを組み合わせる。
その概念的優雅さにもかかわらず、SVAEは実装が困難であることが証明され、より一般的なアプローチが実際に好まれている。
ここでは、現代の機械学習ツールを使用してSVAEを再検討し、精度と効率の両面で、より一般的な選択肢よりも優位性を示す。
論文 参考訳(メタデータ) (2023-05-25T23:51:18Z) - Improving Knowledge Graph Entity Alignment with Graph Augmentation [11.1094009195297]
異なる知識グラフ(KG)をまたいだ等価エンティティをリンクするエンティティアライメント(EA)は、知識融合において重要な役割を果たす。
近年、グラフニューラルネットワーク(GNN)は、多くの埋め込みベースのEA手法でうまく適用されている。
グラフの強化により、マージンベースのアライメント学習とコントラッシブなエンティティ表現学習のための2つのグラフビューを作成する。
論文 参考訳(メタデータ) (2023-04-28T01:22:47Z) - Bag of Tricks of Semi-Supervised Classification with Graph Neural
Networks [0.0]
本稿では,まず,既存の改良点の集合を概説し,モデル設計とラベル使用に関するいくつかの新しい手法を提案する。
アブレーション研究を通じて,最終モデル精度への影響を実証的に評価し,モデルアーキテクチャの改善による利益を上回る程度まで,様々なgnnモデルを大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-03-24T17:24:26Z) - Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction [11.927046591097623]
リンク予測は、浅層グラフオートエンコーダ(GAE)アーキテクチャの1層または2層に基づく現在の最先端モデルを用いて、比較的未研究のグラフ学習タスクである。
本論文では,浅いGAEと変動GAEしか使用できないリンク予測の現在の手法の限界に対処することに焦点をあてる。
提案手法はGAEのアーキテクチャに標準オートエンコーダ(AE)を革新的に組み込んでおり、標準AEは隣接情報とノード機能をシームレスに統合することで必要不可欠な低次元表現を学習する。
論文 参考訳(メタデータ) (2021-03-21T14:43:10Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳(メタデータ) (2020-10-19T21:51:47Z) - Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text
Generation [56.73834525802723]
軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。
LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。
我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
論文 参考訳(メタデータ) (2020-10-09T06:03:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。