論文の概要: BloomGML: Graph Machine Learning through the Lens of Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2403.04763v1
• Date: Thu, 7 Mar 2024 18:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 12:57:51.748999
• Title: BloomGML: Graph Machine Learning through the Lens of Bilevel Optimization
• Title（参考訳）: BloomGML: 双方向最適化のレンズによるグラフ機械学習
• Authors: Amber Yijia Zheng and Tong He and Yixuan Qiu and Minjie Wang and David Wipf
• Abstract要約: 本稿では,二段階最適化の特別事例として,様々なグラフ学習手法を再キャストする方法を示す。 まず、より柔軟なエネルギー関数のクラスを導出し、様々な降下ステップと組み合わせると、グラフニューラルネットワーク(GNN)メッセージパッシング層を形成する。 次に,このフレームワークを単純化して,非GNNグラフ学習手法との密接な関係を導出する。
• 参考スコア（独自算出の注目度）: 20.356581011483215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization refers to scenarios whereby the optimal solution of a lower-level energy function serves as input features to an upper-level objective of interest. These optimal features typically depend on tunable parameters of the lower-level energy in such a way that the entire bilevel pipeline can be trained end-to-end. Although not generally presented as such, this paper demonstrates how a variety of graph learning techniques can be recast as special cases of bilevel optimization or simplifications thereof. In brief, building on prior work we first derive a more flexible class of energy functions that, when paired with various descent steps (e.g., gradient descent, proximal methods, momentum, etc.), form graph neural network (GNN) message-passing layers; critically, we also carefully unpack where any residual approximation error lies with respect to the underlying constituent message-passing functions. We then probe several simplifications of this framework to derive close connections with non-GNN-based graph learning approaches, including knowledge graph embeddings, various forms of label propagation, and efficient graph-regularized MLP models. And finally, we present supporting empirical results that demonstrate the versatility of the proposed bilevel lens, which we refer to as BloomGML, referencing that BiLevel Optimization Offers More Graph Machine Learning. Our code is available at https://github.com/amberyzheng/BloomGML. Let graph ML bloom.
• Abstract（参考訳）: 双レベル最適化は、低レベルのエネルギー関数の最適解が、関心の上位レベルの目的に対する入力特徴として機能するシナリオを指す。 これらの最適特徴は、通常、双方向パイプライン全体をエンドツーエンドで訓練できる方法で、低レベルのエネルギーの調整可能なパラメータに依存する。 一般には提示されていないが,二段階最適化や単純化の特別な場合として,様々なグラフ学習手法が再キャスト可能であることを示す。 簡単に言うと、事前の作業に基づいて、私たちはまず、様々な降下ステップ(勾配降下、近位法、運動量など)とペアリングするときに、グラフニューラルネットワーク(gnn)のメッセージ通過層を形成する、より柔軟なエネルギー関数のクラスを導出します。 そこで我々は,知識グラフの埋め込み,ラベルの伝播,効率的なグラフ正規化MLPモデルなど,非GNNグラフ学習アプローチとの密接な関係を導出するために,このフレームワークの単純化を探索する。 最後に、BloomGMLと呼ばれる提案されたバイレベルレンズの汎用性を示す実証的な結果を提示し、BiLevel Optimizationがより多くのグラフ機械学習を提供することを言及する。 私たちのコードはhttps://github.com/amberyzheng/BloomGMLで利用可能です。 graph ml bloom にしましょう。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Amplify Graph Learning for Recommendation via Sparsity Completion [16.32861024767423]
  グラフ学習モデルは、協調フィルタリング(CF)ベースのレコメンデーションシステムに広くデプロイされている。 データ疎度の問題により、元の入力のグラフ構造は潜在的な肯定的な嗜好エッジを欠いている。 AGL-SC(Amplify Graph Learning framework)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T08:26:20Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention [52.67633391931959]
  グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。 グラフシンクホーン注意機構(GSINA)を提案する。 GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
  論文  参考訳（メタデータ） (2024-02-11T12:57:16Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Learning Adaptive Neighborhoods for Graph Neural Networks [45.94778766867247]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データのエンドツーエンド学習を可能にする。 本稿では,グラフトポロジを構築する新しいエンドツーエンドの微分可能なグラフ生成器を提案する。 私たちのモジュールは、グラフ畳み込み操作を含む既存のパイプラインに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-18T08:37:25Z)
• Template based Graph Neural Network with Optimal Transport Distances [11.56532171513328]
  現在のグラフニューラルネットワーク(GNN)アーキテクチャは、2つの重要なコンポーネントに依存している。 本稿では,学習可能なグラフテンプレートとの距離をグラフ表現のコアに配置する新しい視点を提案する。 この距離埋め込みは、Fused Gromov-Wasserstein (FGW) 距離という最適な輸送距離によって構築される。
  論文  参考訳（メタデータ） (2022-05-31T12:24:01Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。