論文の概要: BloomGML: Graph Machine Learning through the Lens of Bilevel
Optimization
- arxiv url: http://arxiv.org/abs/2403.04763v1
- Date: Thu, 7 Mar 2024 18:57:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 12:57:51.748999
- Title: BloomGML: Graph Machine Learning through the Lens of Bilevel
Optimization
- Title(参考訳): BloomGML: 双方向最適化のレンズによるグラフ機械学習
- Authors: Amber Yijia Zheng and Tong He and Yixuan Qiu and Minjie Wang and David
Wipf
- Abstract要約: 本稿では,二段階最適化の特別事例として,様々なグラフ学習手法を再キャストする方法を示す。
まず、より柔軟なエネルギー関数のクラスを導出し、様々な降下ステップと組み合わせると、グラフニューラルネットワーク(GNN)メッセージパッシング層を形成する。
次に,このフレームワークを単純化して,非GNNグラフ学習手法との密接な関係を導出する。
- 参考スコア(独自算出の注目度): 20.356581011483215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel optimization refers to scenarios whereby the optimal solution of a
lower-level energy function serves as input features to an upper-level
objective of interest. These optimal features typically depend on tunable
parameters of the lower-level energy in such a way that the entire bilevel
pipeline can be trained end-to-end. Although not generally presented as such,
this paper demonstrates how a variety of graph learning techniques can be
recast as special cases of bilevel optimization or simplifications thereof. In
brief, building on prior work we first derive a more flexible class of energy
functions that, when paired with various descent steps (e.g., gradient descent,
proximal methods, momentum, etc.), form graph neural network (GNN)
message-passing layers; critically, we also carefully unpack where any residual
approximation error lies with respect to the underlying constituent
message-passing functions. We then probe several simplifications of this
framework to derive close connections with non-GNN-based graph learning
approaches, including knowledge graph embeddings, various forms of label
propagation, and efficient graph-regularized MLP models. And finally, we
present supporting empirical results that demonstrate the versatility of the
proposed bilevel lens, which we refer to as BloomGML, referencing that BiLevel
Optimization Offers More Graph Machine Learning. Our code is available at
https://github.com/amberyzheng/BloomGML. Let graph ML bloom.
- Abstract(参考訳): 双レベル最適化は、低レベルのエネルギー関数の最適解が、関心の上位レベルの目的に対する入力特徴として機能するシナリオを指す。
これらの最適特徴は、通常、双方向パイプライン全体をエンドツーエンドで訓練できる方法で、低レベルのエネルギーの調整可能なパラメータに依存する。
一般には提示されていないが,二段階最適化や単純化の特別な場合として,様々なグラフ学習手法が再キャスト可能であることを示す。
簡単に言うと、事前の作業に基づいて、私たちはまず、様々な降下ステップ(勾配降下、近位法、運動量など)とペアリングするときに、グラフニューラルネットワーク(gnn)のメッセージ通過層を形成する、より柔軟なエネルギー関数のクラスを導出します。
そこで我々は,知識グラフの埋め込み,ラベルの伝播,効率的なグラフ正規化MLPモデルなど,非GNNグラフ学習アプローチとの密接な関係を導出するために,このフレームワークの単純化を探索する。
最後に、BloomGMLと呼ばれる提案されたバイレベルレンズの汎用性を示す実証的な結果を提示し、BiLevel Optimizationがより多くのグラフ機械学習を提供することを言及する。
私たちのコードはhttps://github.com/amberyzheng/BloomGMLで利用可能です。
graph ml bloom にしましょう。
関連論文リスト
- Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - GSINA: Improving Subgraph Extraction for Graph Invariant Learning via
Graph Sinkhorn Attention [52.67633391931959]
グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。
グラフシンクホーン注意機構(GSINA)を提案する。
GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
論文 参考訳(メタデータ) (2024-02-11T12:57:16Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Learning Adaptive Neighborhoods for Graph Neural Networks [45.94778766867247]
グラフ畳み込みネットワーク(GCN)は、グラフ構造化データのエンドツーエンド学習を可能にする。
本稿では,グラフトポロジを構築する新しいエンドツーエンドの微分可能なグラフ生成器を提案する。
私たちのモジュールは、グラフ畳み込み操作を含む既存のパイプラインに簡単に統合できます。
論文 参考訳(メタデータ) (2023-07-18T08:37:25Z) - Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。
我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
論文 参考訳(メタデータ) (2022-10-02T13:19:48Z) - Template based Graph Neural Network with Optimal Transport Distances [11.56532171513328]
現在のグラフニューラルネットワーク(GNN)アーキテクチャは、2つの重要なコンポーネントに依存している。
本稿では,学習可能なグラフテンプレートとの距離をグラフ表現のコアに配置する新しい視点を提案する。
この距離埋め込みは、Fused Gromov-Wasserstein (FGW) 距離という最適な輸送距離によって構築される。
論文 参考訳(メタデータ) (2022-05-31T12:24:01Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z) - Representing Long-Range Context for Graph Neural Networks with Global
Attention [37.212747564546156]
本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。
提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。
その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
論文 参考訳(メタデータ) (2022-01-21T18:16:21Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳(メタデータ) (2020-10-19T21:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。