論文の概要: Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution

• arxiv url: http://arxiv.org/abs/2310.03032v2
• Date: Thu, 22 Feb 2024 04:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 18:42:55.184673
• Title: Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution
• Title（参考訳）: 構造対応レコメンデーションインベディング進化のためのグラフ付最適化器
• Authors: Cong Xu, Jun Wang, Jianyong Wang, Wei Zhang
• Abstract要約: 本稿では,新しい組込み更新機構であるStructure-Aware Embedding Evolution (SEvo)を提案する。 SEvoは、トレーニングにおいて無視できない計算オーバーヘッドでグラフ構造情報を埋め込みに直接注入することができる。 特に、モーメント推定補正を備えたSEvo強化AdamWは、モデルとデータセットのスペクトルにわたって一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 15.307617334485599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding plays a critical role in modern recommender systems because they are virtual representations of real-world entities and the foundation for subsequent decision models. In this paper, we propose a novel embedding update mechanism, Structure-aware Embedding Evolution (SEvo for short), to encourage related nodes to evolve similarly at each step. Unlike GNN (Graph Neural Network) that typically serves as an intermediate part, SEvo is able to directly inject the graph structure information into embedding with negligible computational overhead in training. The convergence properties of SEvo as well as its possible variants are theoretically analyzed to justify the validity of the designs. Moreover, SEvo can be seamlessly integrated into existing optimizers for state-of-the-art performance. In particular, SEvo-enhanced AdamW with moment estimate correction demonstrates consistent improvements across a spectrum of models and datasets, suggesting a novel technical route to effectively utilize graph structure information beyond explicit GNN modules.
• Abstract（参考訳）: 組込みは、現実世界の実体の仮想表現であり、その後の決定モデルの基礎であるため、現代のレコメンデーションシステムにおいて重要な役割を果たす。 本稿では,新しい組込み更新機構である structure-aware embedded evolution (sevo) を提案する。 通常、中間部として機能するGNN(Graph Neural Network)とは異なり、SEvoはグラフ構造情報を直接注入して、トレーニングにおいて無視できる計算オーバーヘッドを埋め込むことができる。 sevoの収束特性とその可能な変種は理論的に解析され、設計の有効性が正当化される。 さらに、SEvoは最先端のパフォーマンスのために既存のオプティマイザにシームレスに統合できる。 特に、モーメント推定補正を施したSevo強化AdamWは、モデルとデータセットの範囲で一貫した改善を示し、明示的なGNNモジュールを超えてグラフ構造情報を効果的に活用するための新たな技術ルートを示唆している。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Learning Invariant Representations of Graph Neural Networks via Cluster Generalization [58.68231635082891]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングでますます人気が高まっている。 本稿では,構造変化が発生した場合,GNNの性能が著しく低下することが実験的に確認された。 本稿では,GNNの不変表現を学習するクラスタ情報伝達(CIT)機構を提案する。
  論文  参考訳（メタデータ） (2024-03-06T10:36:56Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Unbiased Learning of Deep Generative Models with Structured Discrete Representations [7.9057320008285945]
  構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。 我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。 メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
  論文  参考訳（メタデータ） (2023-06-14T03:59:21Z)
• Revisiting Structured Variational Autoencoders [11.998116457994994]
  構造化変動オートエンコーダ(SVAE)は、潜伏変数の確率的グラフィカルモデル、観測データに潜伏変数をリンクするディープニューラルネットワーク、近似後部推論のための構造探索アルゴリズムを組み合わせる。 その概念的優雅さにもかかわらず、SVAEは実装が困難であることが証明され、より一般的なアプローチが実際に好まれている。 ここでは、現代の機械学習ツールを使用してSVAEを再検討し、精度と効率の両面で、より一般的な選択肢よりも優位性を示す。
  論文  参考訳（メタデータ） (2023-05-25T23:51:18Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Image-Like Graph Representations for Improved Molecular Property Prediction [7.119677737397071]
  本稿では,CubeMol と呼ばれる GNN の必要性を完全に回避する,新しい固有分子表現法を提案する。 我々の定次元表現は、トランスモデルと組み合わせると、最先端のGNNモデルの性能を超え、拡張性を提供する。
  論文  参考訳（メタデータ） (2021-11-20T22:39:11Z)
• Bag of Tricks of Semi-Supervised Classification with Graph Neural Networks [0.0]
  本稿では,まず,既存の改良点の集合を概説し,モデル設計とラベル使用に関するいくつかの新しい手法を提案する。 アブレーション研究を通じて,最終モデル精度への影響を実証的に評価し,モデルアーキテクチャの改善による利益を上回る程度まで,様々なgnnモデルを大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-03-24T17:24:26Z)
• Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction [11.927046591097623]
  リンク予測は、浅層グラフオートエンコーダ(GAE)アーキテクチャの1層または2層に基づく現在の最先端モデルを用いて、比較的未研究のグラフ学習タスクである。 本論文では,浅いGAEと変動GAEしか使用できないリンク予測の現在の手法の限界に対処することに焦点をあてる。 提案手法はGAEのアーキテクチャに標準オートエンコーダ(AE)を革新的に組み込んでおり、標準AEは隣接情報とノード機能をシームレスに統合することで必要不可欠な低次元表現を学習する。
  論文  参考訳（メタデータ） (2021-03-21T14:43:10Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。