論文の概要: Spectral Reversal: Counteracting Singular Value Bias for Graph Prompting
- arxiv url: http://arxiv.org/abs/2609.32143v1
- Date: Sat, 26 Sep 2026 02:04:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 19:31:14.022976
- Title: Spectral Reversal: Counteracting Singular Value Bias for Graph Prompting
- Title（参考訳）: スペクトル反転:グラフプロンプトの特異値バイアスに対抗する
- Abstract要約: 自己教師付き学習によるグラフニューラルネットワーク(GNN)が主流となっているが、凍結エンコーダの効率的な適用は依然として課題である。
本稿では,凍結したGNNエンコーダのスペクトル寄与を再均衡させるプロンプトフレームワークであるSpectral Reverse Prompt (SRP)を提案する。
SRPは最小限の追加パラメータで最先端の性能を達成し、SRPはパラメータ効率のよいグラフ適応のための原則的で効果的な戦略であることを強調した。
- 参考スコア（独自算出の注目度）: 13.079166437908183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-training Graph Neural Networks (GNNs) via self-supervised learning has become a dominant paradigm, yet efficiently adapting frozen encoders remains a challenge. Graph prompting offers a parameter-efficient alternative to fine-tuning, but existing methods largely treat pre-trained models as opaque feature extractors, ignoring their internal spectral structure. In this work, we identify a systematic phenomenon in pre-trained GNNs, which we term spectral bias: optimization during pre-training disproportionately aligns representations with directions associated with large singular values, leaving low-energy directions under-explored. We show that these underutilized directions can encode complementary information that is beneficial for downstream adaptation, especially under distribution shift. To leverage this insight, we propose Spectral Reverse Prompt (SRP), a prompting framework that rebalances the spectral contributions of frozen GNN encoders. SRP applies a learnable soft-thresholding mask in the spectral domain to down-weight dominant directions while amplifying weaker ones. In addition, SRP incorporates a null-space augmentation module that captures variation in directions with minimal activation under the frozen encoder. Extensive experiments across multiple benchmarks demonstrate that SRP achieves state-of-the-art performance with minimal additional parameters, highlighting that reweighting spectral components is a principled and effective strategy for parameter-efficient graph adaptation.
- Abstract（参考訳）: 自己教師付き学習によるグラフニューラルネットワーク(GNN)の事前学習が主流となっているが、凍結エンコーダの効率的な適用は依然として課題である。
グラフプロンプトは微調整の代替としてパラメータ効率が良いが、既存の方法では未学習のモデルを不透明な特徴抽出器として扱い、内部スペクトル構造を無視している。
本研究では,事前学習したGNNにおいて,スペクトルバイアスと呼ばれる系統的な現象を同定する。事前学習中の最適化は,大きな特異値に関連する方向と不均等に整合し,低エネルギーな方向を探索下に残す。
これらの未利用方向は、特に分布シフトの下で、下流適応に有用な相補的な情報を符号化できることが示される。
この知見を活用するために,凍結したGNNエンコーダのスペクトル寄与を再均衡させるプロンプトフレームワークであるSpectral Reverse Prompt (SRP)を提案する。
SRPは、スペクトル領域における学習可能なソフトスレッディングマスクを、より弱いマスクを増幅しながら、より軽量な支配方向に適用する。
さらに、SRPは、凍結エンコーダの下で最小限のアクティベーションで方向の変化をキャプチャするnull-space augmentationモジュールを組み込んでいる。
複数のベンチマークにわたる大規模な実験は、SRPが最小限の追加パラメータで最先端のパフォーマンスを達成していることを示し、スペクトル成分の再重み付けがパラメータ効率のよいグラフ適応の原則的かつ効果的な戦略であることを強調した。
関連論文リスト
- SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity [57.84199526590779]
フェデレートラーニング(FL)は、非ID分散(非IID)データがクライアントのドリフトを誘導し、グローバルな収束を阻害する統計的不均一性によって根本的に挑戦される。
本研究では,新しい周波数領域の観点からクライアントのドリフトを再考し,Drift のスペクトルバイアスを明らかにする。
そこで本研究では,低周波信号の不一致を抑えることで不均一性を解消するスペクトルフィルタリンググラディエント・フレームワークであるSpecGradFilterを提案する。
論文 参考訳（メタデータ） (2026-07-05T09:23:35Z) - Spectral Gating via Damped Oscillations for Adaptive Implicit Neural Representations [24.706105488382818]
Inlicit Neural Representation (INR)は、座標ベースのネットワークを通じて連続的な信号を符号化することに成功した。
周期的なアクティベーションは細部を捉えるが、ノイズを記憶するオールパスフィルタとして機能する一方、空間的にコンパクトなアクティベーションは効率よく正規化されるが、低周波バイアスに悩まされる。
本稿では,各ニューロンの活性化を正弦波駆動型減衰振動子の定常応答としてモデル化することを提案する。
論文 参考訳（メタデータ） (2026-06-22T11:59:47Z) - Don't Fix the Basis -- Learn It: Spectral Representation with Adaptive Basis Learning for PDEs [0.2581652423269287]
本稿では,事前定義されたベースに依存するのではなく,データ依存のスペクトル表現を学習するフレームワークであるAdaptive Basis Learning(ABLE)を提案する。
ABLEは、学習された補助密度を介して空間適応的なParsevalフレームを構築し、オペレータが持ち上げられたスペクトル空間で動作できるようにする。
この結果から,演算子の複雑性のみではなく,データ駆動による表現の選択が,ニューラル演算子の設計における重要なボトルネックであることを強調した。
論文 参考訳（メタデータ） (2026-05-11T12:20:57Z) - Implicit Neural Representations: A Signal Processing Perspective [54.57279006229212]
入射神経表現(INR)は、離散的なサンプルデータから連続的な機能的表現へと、信号モデリングの根本的な変化を示す。
本稿では、信号処理の観点からのINRの進化を考察し、スペクトル挙動、サンプリング理論、マルチスケール表現を強調する。
医療・レーダ画像の逆問題,圧縮,3次元シーン表現など,幅広い応用分野におけるINRの有用性を強調した。
論文 参考訳（メタデータ） (2026-04-16T14:12:06Z) - Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。
SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。
計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文 参考訳（メタデータ） (2026-02-07T20:00:49Z) - The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
スパーシティはモデル条件の最適化バイアスの表面積であることを示す。
我々はこれらの力学を三ゲージ理論で機械的に説明する。
本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-11-11T18:49:45Z) - A Spectral Interpretation of Redundancy in a Graph Reservoir [51.40366905583043]
この研究はMRGNN(Multi resolution Reservoir Graph Neural Network)における貯留層の定義を再考する。
コンピュータグラフィックスにおける表面設計の分野で最初に導入されたフェアリングアルゴリズムに基づく変種を提案する。
この論文の中核的な貢献は、ランダムウォークの観点からのアルゴリズムの理論解析にある。
論文 参考訳（メタデータ） (2025-07-17T10:02:57Z) - Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。
トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:32:47Z) - ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised
Graph Neural Network [20.924559944655392]
本稿では,適応スペクトルウェーブレット変換を用いた自己教師付きグラフニューラルネットワーク(ASWT-SGNN)を提案する。
ASWT-SGNNは高密度スペクトル領域におけるフィルタ関数を正確に近似し、コストの高い固有分解を避ける。
ノード分類タスクにおける最先端モデルに匹敵するパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-12-10T03:07:42Z) - Reconstructing spectral functions via automatic differentiation [30.015034534260664]
ユークリッドグリーン関数からスペクトル関数を再構成することは、多体物理学において重要な逆問題である。
本稿では,プロパゲータオブザーバからのスペクトル再構成のための汎用ツールとして,自動微分(AD)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-29T18:09:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。