論文の概要: Bilevel Graph Structure Learning, Revisited: Inner-Channel Origins of the Reported Gain
- arxiv url: http://arxiv.org/abs/2605.07577v1
- Date: Fri, 08 May 2026 10:46:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.006027
- Title: Bilevel Graph Structure Learning, Revisited: Inner-Channel Origins of the Reported Gain
- Title(参考訳): 両レベルグラフ構造学習 - 報告された利得の内チャネルの起源-
- Authors: Minkyoung Kim, Beakcheol Jang,
- Abstract要約: 両レベルグラフ構造学習は、モデルパラメータと学習グラフ構造を協調最適化することにより、グラフニューラルネットワークを改善するために広く理解されている。
インナーループのトレーニング効果は、リライト自体ではなく、その利益のかなりの部分を占めていることが分かりました。
本稿では,二値グラフ構造を標準化した診断法としてフリーズ・ドルを提案し,グラフ蒸留をメソッドに依存しない補体として学習する。
- 参考スコア(独自算出の注目度): 7.461214229363999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel graph structure learning is widely understood to improve graph neural networks by jointly optimizing model parameters and a learned graph structure, with the resulting performance gain attributed to the rewired adjacency. We find that this attribution may be overstated: training-dynamics effects in the inner loop, rather than the rewiring itself, capture a substantial share of the gain. To establish this, we introduce frozen-$φ$, a control that freezes the graph while retaining the inner-loop training schedule. This decomposes the bilevel gain into an inner channel of $T$-step training dynamics with implicit gradient regularization and a graph channel of the graph rewiring itself. On spatio-temporal flow forecasting the inner channel matches or exceeds the full bilevel pipeline, accounting for 78-101% of the gain; on node classification it accounts for 37-44% under a Bernoulli edge-level parameterization. We also verify that classical spectral diagnostics can dissociate from task gain. We propose frozen-$φ$ as a standardized diagnostic for bilevel graph structure learning, with graph distillation as a method-agnostic complement. A three-precondition framework further predicts the sign of the bilevel gain on all six benchmarks.
- Abstract(参考訳): 両レベルグラフ構造学習は、モデルパラメータと学習グラフ構造を協調的に最適化することにより、グラフニューラルネットワークを改善するために広く理解されている。
我々は、この属性が過大評価されているかもしれないことを発見した: 内部ループにおけるトレーニング-力学効果は、それ自体を切り替えるのではなく、その利得のかなりの割合を捉えている。
これを確立するために、内部ループトレーニングスケジュールを維持しながらグラフを凍結する制御であるFold-$φ$を導入する。
これにより、二レベルゲインを暗黙の勾配正規化を伴う$T$-stepトレーニングダイナミックスの内部チャネルとグラフのグラフチャネルに分解する。
内部チャネルを予測する時空間流は全二段パイプラインと一致または超え、利得の78-101%を占め、ノード分類ではベルヌーイのエッジレベルのパラメータ化の下で37-44%を占める。
また、古典的なスペクトル診断がタスクゲインから解離することを検証する。
本稿では,グラフ蒸留を手法に依存しない補体として,二段階グラフ構造学習の標準化診断としてフリーズ$φ$を提案する。
3条件フレームワークは、さらに6つのベンチマークのバイレベルゲインの兆候を予測する。
関連論文リスト
- Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。
SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。
SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
論文 参考訳(メタデータ) (2026-01-19T08:10:53Z) - It Takes a Graph to Know a Graph: Rewiring for Homophily with a Reference Graph [19.222317334613162]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの解析に長けているが、連結ノードがしばしば異なるクラスに属している異種グラフに苦戦している。
我々は、エッジホモフィリー、GNN埋め込みの滑らかさ、ノード分類性能をリンクする理論的基礎を提供する。
参照グラフを用いてグラフをホモフィリに増加させるリワイアリングフレームワークを導入し、リワイアグラフのホモフィリを理論的に保証する。
論文 参考訳(メタデータ) (2025-05-18T13:28:56Z) - Two Heads Are Better Than One: Boosting Graph Sparse Training via
Semantic and Topological Awareness [80.87683145376305]
グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。
データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。
GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
論文 参考訳(メタデータ) (2024-02-02T09:10:35Z) - Data-Adaptive Graph Framelets with Generalized Vanishing Moments for Graph Machine Learning [4.498623132806496]
分割木に基づく局所化サポート付きグラフ上でのタイトなフレームレットシステムを構築する。
提案するグラフフレームレットシステムの汎用性をヘテロ親和性グラフ学習に活用する。
グラフフレームレットの特定の系を導出し、ニューラルネットワーク入力の特徴としてフレームレットを選択する方法を提案する。
論文 参考訳(メタデータ) (2023-09-07T07:49:43Z) - Feature propagation as self-supervision signals on graphs [0.0]
正規化グラフ情報最大(RGI)は、ノードレベルの自己教師型学習のためのシンプルだが効果的なフレームワークである。
RGIは,その単純さに拘わらず,最先端のパフォーマンスを実現することができることを示す。
論文 参考訳(メタデータ) (2023-03-15T14:20:06Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳(メタデータ) (2023-02-06T16:26:29Z) - EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。
EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。
提案手法はいくつかの最先端手法より一貫して優れている。
論文 参考訳(メタデータ) (2022-11-19T09:08:43Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z) - Multi-task Self-distillation for Graph-based Semi-Supervised Learning [6.277952154365413]
本稿では,グラフ畳み込みネットワークに自己教師付き学習と自己蒸留を注入するマルチタスク自己蒸留フレームワークを提案する。
まず、プレテキストタスクに基づいて自己超越パイプラインを定式化し、グラフの異なるレベルの類似性をキャプチャする。
第二に、自己蒸留はモデル自体のソフトラベルを追加の監督として使用する。
論文 参考訳(メタデータ) (2021-12-02T12:43:41Z) - SSFG: Stochastically Scaling Features and Gradients for Regularizing
Graph Convolution Networks [7.075802972628797]
繰り返しグラフ畳み込みを適用すると、余計な問題を引き起こす可能性がある。
この問題に対処するための正規化手法を提案する。
本手法は,ベースライングラフネットワーク全体の性能を効果的に改善する。
論文 参考訳(メタデータ) (2021-02-20T12:59:48Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳(メタデータ) (2020-10-19T21:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。