論文の概要: Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2508.06588v1
• Date: Fri, 08 Aug 2025 06:33:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.458654
• Title: Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning
• Title（参考訳）: グラフは自然な正規化:グラフ表現学習のためのベクトル量子化の再検討
• Authors: Zian Zhai, Fan Li, Xingyu Tan, Xiaoyang Wang, Wenjie Zhang,
• Abstract要約: 本稿では,ベクトル量子化をグラフデータに適用した場合に,コードブックの崩壊が一貫して起こることを示す最初の実証的研究を示す。 グラフトポロジと特徴的類似性を明示的な正規化信号として統合し,コードブックの利用率を高め,トークンの多様性を促進する新しいフレームワークであるRGVQを提案する。
• 参考スコア（独自算出の注目度）: 12.729247310679678
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vector Quantization (VQ) has recently emerged as a promising approach for learning discrete representations of graph-structured data. However, a fundamental challenge, i.e., codebook collapse, remains underexplored in the graph domain, significantly limiting the expressiveness and generalization of graph tokens.In this paper, we present the first empirical study showing that codebook collapse consistently occurs when applying VQ to graph data, even with mitigation strategies proposed in vision or language domains. To understand why graph VQ is particularly vulnerable to collapse, we provide a theoretical analysis and identify two key factors: early assignment imbalances caused by redundancy in graph features and structural patterns, and self-reinforcing optimization loops in deterministic VQ. To address these issues, we propose RGVQ, a novel framework that integrates graph topology and feature similarity as explicit regularization signals to enhance codebook utilization and promote token diversity. RGVQ introduces soft assignments via Gumbel-Softmax reparameterization, ensuring that all codewords receive gradient updates. In addition, RGVQ incorporates a structure-aware contrastive regularization to penalize the token co-assignments among similar node pairs. Extensive experiments demonstrate that RGVQ substantially improves codebook utilization and consistently boosts the performance of state-of-the-art graph VQ backbones across multiple downstream tasks, enabling more expressive and transferable graph token representations.
• Abstract（参考訳）: ベクトル量子化(VQ)は、グラフ構造化データの離散表現を学習するための有望なアプローチとして最近登場した。 しかし,本研究では,VQをグラフデータに適用する場合,視覚領域や言語領域で提案される緩和戦略においても,コードブックの崩壊が一貫して起こることを示す実証的研究を初めて提示する。 グラフVQが崩壊に対して特に脆弱である理由を理解するため,グラフの特徴や構造パターンの冗長性に起因する初期割り当ての不均衡と,決定論的VQにおける自己強化最適化ループという,2つの重要な要因を理論的に解析し,同定する。 これらの問題に対処するために,RGVQを提案する。このフレームワークはグラフトポロジを統合し,明示的な正規化信号として特徴的類似性を実現し,コードブックの利用率を高め,トークンの多様性を促進する。 RGVQはGumbel-Softmax再パラメータ化を通じてソフトアサインを導入し、すべてのコードワードが勾配更新を受けられるようにした。 さらに、RGVQは、類似ノードペア間のトークン共割り当てをペナルティ化するために、構造対応のコントラスト正規化を組み込んでいる。 大規模な実験により、RGVQはコードブックの利用を大幅に改善し、複数のダウンストリームタスクにまたがる最先端のグラフVQバックボーンのパフォーマンスを継続的に向上し、より表現力が高く、転送可能なグラフトークン表現を可能にした。

関連論文リスト

• GLANCE: Graph Logic Attention Network with Cluster Enhancement for Heterophilous Graph Representation Learning [54.60090631330295]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習する上で大きな成功を収めている。 本稿では,論理誘導推論,動的グラフ改善,適応クラスタリングを統合し,グラフ表現学習を強化する新しいフレームワークであるGLANCEを提案する。
  論文  参考訳（メタデータ） (2025-07-24T15:45:26Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [75.9865035064794]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Hierarchical Vector Quantized Graph Autoencoder with Annealing-Based Code Selection [13.731120424653705]
  Vector Quantized Variational Autoencoder (VQ-VAE) はコンピュータビジョンなどの分野で広く使われている強力なオートエンコーダである。 本稿では,グラフオートエンコーダの文脈におけるベクトル量子化の実証分析を行う。 グラフデータに適用する場合,ベクトル量子化に関連する2つの重要な課題,すなわち,コードブックの未利用化とコードブック空間の分散を識別する。
  論文  参考訳（メタデータ） (2025-04-17T07:43:52Z)
• GraphCroc: Cross-Correlation Autoencoder for Graph Structural Reconstruction [6.817416560637197]
  グラフオートエンコーダ(GAE)はノード埋め込みからグラフ構造を再構築する。 我々はGAE表現能力を著しく向上する相互相関機構を導入する。 また、さまざまな下流タスクに適したフレキシブルエンコーダアーキテクチャをサポートする新しいGAEであるGraphCrocを提案する。
  論文  参考訳（メタデータ） (2024-10-04T12:59:45Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• Let There Be Order: Rethinking Ordering in Autoregressive Graph Generation [6.422073551199993]
  条件付きグラフ生成タスクは、入力条件のセットが与えられたグラフを生成するためにモデルを訓練する。 従来の多くの研究では、ノードやエッジなどのグラフコンポーネントを漸進的に生成するために自己回帰モデルを用いていた。 グラフは通常、コンポーネント間で自然な順序付けを欠いているため、グラフをトークンの列に変換することは簡単ではない。
  論文  参考訳（メタデータ） (2023-05-24T20:52:34Z)
• Let Invariant Rationale Discovery Inspire Graph Contrastive Learning [98.10268114789775]
  ハイパフォーマンスな拡張は、インスタンス識別に関するアンカーグラフの健全な意味を保存すべきである。 新たなフレームワーク Rationale-aware Graph Contrastive Learning (RGCL) を提案する。 RGCLは有理数生成器を使用して、グラフのインスタンス識別に関する健全な特徴を論理として明らかにし、対照的な学習のための有理数認識ビューを生成する。
  論文  参考訳（メタデータ） (2022-06-16T01:28:40Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Self-supervised Consensus Representation Learning for Attributed Graph [15.729417511103602]
  グラフ表現学習に自己教師付き学習機構を導入する。 本稿では,新しい自己教師型コンセンサス表現学習フレームワークを提案する。 提案手法はトポロジグラフと特徴グラフの2つの視点からグラフを扱う。
  論文  参考訳（メタデータ） (2021-08-10T07:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。