論文の概要: Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution

• arxiv url: http://arxiv.org/abs/2310.03032v1
• Date: Sun, 24 Sep 2023 04:09:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 04:46:00.665140
• Title: Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution
• Title（参考訳）: 構造対応レコメンデーションインベディング進化のためのグラフ付最適化器
• Authors: Cong Xu, Jun Wang, Jianyong Wang, Wei Zhang
• Abstract要約: 本稿では,新しい組込み更新機構であるStructure-Aware Embedding Evolution (SEvo)を提案する。 SEvoは、トレーニングにおいて無視できない計算オーバーヘッドでグラフ構造情報を埋め込みに直接注入することができる。 特に、モーメント推定補正を備えたSEvo強化AdamWは、モデルとデータセットのスペクトルにわたって一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 15.307617334485599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding plays a critical role in modern recommender systems because they are virtual representations of real-world entities and the foundation for subsequent decision models. In this paper, we propose a novel embedding update mechanism, Structure-aware Embedding Evolution (SEvo for short), to encourage related nodes to evolve similarly at each step. Unlike GNN (Graph Neural Network) that typically serves as an intermediate part, SEvo is able to directly inject the graph structure information into embedding with negligible computational overhead in training. The convergence properties of SEvo as well as its possible variants are theoretically analyzed to justify the validity of the designs. Moreover, SEvo can be seamlessly integrated into existing optimizers for state-of-the-art performance. In particular, SEvo-enhanced AdamW with moment estimate correction demonstrates consistent improvements across a spectrum of models and datasets, suggesting a novel technical route to effectively utilize graph structure information beyond explicit GNN modules.
• Abstract（参考訳）: 組込みは、現実世界の実体の仮想表現であり、その後の決定モデルの基礎であるため、現代のレコメンデーションシステムにおいて重要な役割を果たす。 本稿では,新しい組込み更新機構である structure-aware embedded evolution (sevo) を提案する。 通常、中間部として機能するGNN(Graph Neural Network)とは異なり、SEvoはグラフ構造情報を直接注入して、トレーニングにおいて無視できる計算オーバーヘッドを埋め込むことができる。 sevoの収束特性とその可能な変種は理論的に解析され、設計の有効性が正当化される。 さらに、SEvoは最先端のパフォーマンスのために既存のオプティマイザにシームレスに統合できる。 特に、モーメント推定補正を施したSevo強化AdamWは、モデルとデータセットの範囲で一貫した改善を示し、明示的なGNNモジュールを超えてグラフ構造情報を効果的に活用するための新たな技術ルートを示唆している。

関連論文リスト

• COMBINEX: A Unified Counterfactual Explainer for Graph Neural Networks via Node Feature and Structural Perturbations [6.894071825948456]
  我々は,ノード分類タスクとグラフ分類タスクの両方に対して,対実的な説明を生成する新しいGNN説明器であるCOMBINEXを提案する。 構造的および特徴に基づく変更を独立に扱う従来の方法とは異なり、COMBINEXはエッジとノードの特徴への修正を最適にバランスする。 この統一されたアプローチは、モデルの予測を反転させるために必要な最小限かつ効果的な変更を保証し、現実的で解釈可能な反事実をもたらす。
  論文  参考訳（メタデータ） (2025-02-14T12:17:24Z)
• Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers [0.0]
  変換器の注意機構をグラフ演算として再構成する。 スパース GIN-Attention はスパース GIN を用いた微調整手法である。
  論文  参考訳（メタデータ） (2025-01-04T22:30:21Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。 機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。 化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• Learning Invariant Representations of Graph Neural Networks via Cluster Generalization [58.68231635082891]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングでますます人気が高まっている。 本稿では,構造変化が発生した場合,GNNの性能が著しく低下することが実験的に確認された。 本稿では,GNNの不変表現を学習するクラスタ情報伝達(CIT)機構を提案する。
  論文  参考訳（メタデータ） (2024-03-06T10:36:56Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Revisiting Structured Variational Autoencoders [11.998116457994994]
  構造化変動オートエンコーダ(SVAE)は、潜伏変数の確率的グラフィカルモデル、観測データに潜伏変数をリンクするディープニューラルネットワーク、近似後部推論のための構造探索アルゴリズムを組み合わせる。 その概念的優雅さにもかかわらず、SVAEは実装が困難であることが証明され、より一般的なアプローチが実際に好まれている。 ここでは、現代の機械学習ツールを使用してSVAEを再検討し、精度と効率の両面で、より一般的な選択肢よりも優位性を示す。
  論文  参考訳（メタデータ） (2023-05-25T23:51:18Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Bag of Tricks of Semi-Supervised Classification with Graph Neural Networks [0.0]
  本稿では,まず,既存の改良点の集合を概説し,モデル設計とラベル使用に関するいくつかの新しい手法を提案する。 アブレーション研究を通じて,最終モデル精度への影響を実証的に評価し,モデルアーキテクチャの改善による利益を上回る程度まで,様々なgnnモデルを大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-03-24T17:24:26Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。