論文の概要: Two Sides of the Same Optimization Coin: Model Degradation and Representation Collapse in Graph Foundation Models

• arxiv url: http://arxiv.org/abs/2509.08401v3
• Date: Mon, 15 Sep 2025 08:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 13:19:47.968194
• Title: Two Sides of the Same Optimization Coin: Model Degradation and Representation Collapse in Graph Foundation Models
• Title（参考訳）: 同じ最適化係数の2つの側面:グラフ基礎モデルにおけるモデル劣化と表現の崩壊
• Authors: Xunkai Li, Daohan Su, Sicheng Liu, Ru Zhang, Zhenjun Li, Bing Zhou, Rong-Hua Li, Guoren Wang,
• Abstract要約: グラフVQ-MAEは、複数のドメインからの属性を明確なセマンティック境界を持つ個別の埋め込み空間にエンコードする。 本稿では,これらのうちの2つをインスタンス化し,それらが同一のGFM最適化コインの2つの側面に類似していることを示す。 本稿では,インフォメーション・ボトルネックと正規化欠陥に対処するためのMoT(Mixture-of-Tinkers)を提案する。 SOTAベースラインと比較して、6つのドメインにわたる22のデータセットの実験では、MoTが教師付き、少数ショット、ゼロショットのシナリオで大幅に改善されていることが示されている。
• 参考スコア（独自算出の注目度）: 41.39154912912367
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph foundation models, inspired by the success of LLMs, are designed to learn the optimal embedding from multi-domain TAGs for the downstream cross-task generalization capability. During our investigation, graph VQ-MAE stands out among the increasingly diverse landscape of GFM architectures. This is attributed to its ability to jointly encode topology and textual attributes from multiple domains into discrete embedding spaces with clear semantic boundaries. Despite its potential, domain generalization conflicts cause imperceptible pitfalls. In this paper, we instantiate two of them, and they are just like two sides of the same GFM optimization coin - Side 1 Model Degradation: The encoder and codebook fail to capture the diversity of inputs; Side 2 Representation Collapse: The hidden embedding and codebook vector fail to preserve semantic separability due to constraints from narrow representation subspaces. These two pitfalls (sides) collectively impair the decoder and generate the low-quality reconstructed supervision, causing the GFM optimization dilemma during pre-training (coin). Through empirical investigation, we attribute the above challenges to Information Bottleneck and Regularization Deficit. To address them, we propose MoT (Mixture-of-Tinkers) - (1) Information Tinker for Two Pitfalls, which utilizes an edge-wise semantic fusion strategy and a mixture-of-codebooks with domain-aware routing to improve information capacity. (2) Regularization Tinker for Optimization Coin, which utilizes two additional regularizations to further improve gradient supervision in our proposed Information Tinker. Notably, as a flexible architecture, MoT adheres to the scaling laws of GFM, offering a controllable model scale. Compared to SOTA baselines, experiments on 22 datasets across 6 domains demonstrate that MoT achieves significant improvements in supervised, few-shot, and zero-shot scenarios.
• Abstract（参考訳）: LLMの成功にインスパイアされたグラフ基礎モデルは、下流のクロスタスクの一般化機能のために、マルチドメインTAGから最適な埋め込みを学ぶように設計されている。 我々の調査において、グラフVQ-MAEは、GFMアーキテクチャの多様さの中で際立っている。 これは、複数の領域からのトポロジーとテキスト属性を、明確なセマンティック境界を持つ個別の埋め込み空間に共同でエンコードする能力に起因している。 その可能性にも拘わらず、領域の一般化の衝突は認識不能な落とし穴を引き起こす。 本稿では,それらのうちの2つをインスタンス化し,それぞれが同一のGFM最適化コインの2つの側面に類似している。Side 1 Model Degradation: エンコーダとコードブックは入力の多様性を捉えることができず,Side 2 Representation Collapse: 隠れ埋め込みとコードブックベクトルは,狭い表現部分空間からの制約によりセマンティックセパビリティの維持に失敗する。 これら2つの落とし穴(側面)は、デコーダを総体的に障害し、低品質の再構築された監視を発生させ、事前訓練(コイン)中にGFM最適化ジレンマを引き起こす。 実証的な調査を通じて、上記の課題をインフォメーション・ボトルネックと正規化の欠陥とみなす。 そこで本研究では, エッジワイドなセマンティック・フュージョン戦略と, ドメイン認識型ルーティングと混在するコードブックを用いて, 情報容量の向上を図るMoT (Mixture-of-Tinkers) - 1)インフォメーション・ティンカーを提案する。 2) 最適化コインの正規化ティンカーは2つの追加正規化を利用して提案した情報ティンカーの勾配監督をさらに改善する。 特に、柔軟なアーキテクチャとして、MoTはGFMのスケーリング法則に準拠し、制御可能なモデルスケールを提供する。 SOTAベースラインと比較して、6つのドメインにわたる22のデータセットの実験では、MoTが教師付き、少数ショット、ゼロショットのシナリオで大幅に改善されていることが示されている。

関連論文リスト

• Fast State-Augmented Learning for Wireless Resource Allocation with Dual Variable Regression [83.27791109672927]
  本稿では,資源割当ポリシに対する状態拡張グラフニューラルネットワーク(GNN)のパラメトリゼーションが,ユビキタスな二段階的手法の欠点を回避する方法を示す。 ラグランジアンによる国家拡張政策の最大化は、オフライントレーニングフェーズ中に学習される。 収束結果と指数確率は、双対函数(有限値)最適性ギャップの剰余に縛られることを証明する。
  論文  参考訳（メタデータ） (2025-06-23T15:20:58Z)
• Towards Effective Federated Graph Foundation Model via Mitigating Knowledge Entanglement [9.87623531653534]
  グラフ基礎モデル(GFM)は強力なドメイン一般化を提供するが、通常は単一のマシンで訓練される。 我々は,新しい分散GFMトレーニングパラダイムであるFedGFMを提案する。 主な課題は知識の絡み合いであり、多分野の知識は区別できない表現に融合する。 2つのコアモジュールを持つ拡張フレームワークであるFedGFM+を,知識の絡み合いを軽減するために提案する。
  論文  参考訳（メタデータ） (2025-05-19T04:06:32Z)
• Dual-stream Feature Augmentation for Domain Generalization [16.495752769624872]
  2つの視点からいくつかのハードな特徴を構築することでDFA(Dual-stream Feature Augmentation)法を提案する。 提案手法は,領域一般化のための最先端性能を実現することができる。
  論文  参考訳（メタデータ） (2024-09-07T03:41:05Z)
• DGMamba: Domain Generalization via Generalized State Space Model [80.82253601531164]
  ドメイン一般化(DG)は、様々な場面における分散シフト問題を解決することを目的としている。 Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。 本稿では,DGMamba という新たな DG フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-11T14:35:59Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
  実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。 本研究では,より現実的で実践的な半教師付き領域一般化について検討する。 提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
  論文  参考訳（メタデータ） (2021-06-01T16:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。