論文の概要: Attention Graphons: A Graph Limit Perspective on Graph Transformers

• arxiv url: http://arxiv.org/abs/2609.35620v1
• Date: Mon, 28 Sep 2026 16:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:18:04.442698
• Title: Attention Graphons: A Graph Limit Perspective on Graph Transformers
• Title（参考訳）: Attention Graphons: グラフトランスフォーマーのグラフ制限パースペクティブ
• Abstract要約: グラフ変換器は、各注目ヘッドに対して、学習されたペアワイズ相互作用の高密度な$ntimes n$行列を生成する。 これらの注意によって引き起こされるグラフは、$n$が成長するにつれて安定なリミットオブジェクトに収束するのか、それとも学習された相互作用パターンは非構造的でサイズに依存しているのか? グラフ制限理論を用いてこの問題に答え、各注目行列を基礎となるカーネルから有限標本として扱う。
• 参考スコア（独自算出の注目度）: 22.448203257611116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers produce, for each attention head, a dense $n\times n$ matrix of learned pairwise interactions. We ask a fundamental question: do these attention-induced graphs converge to a stable limit object as $n$ grows, or does the learned interaction pattern remain unstructured and size-dependent? We answer this using dense graph limit theory, treating each attention matrix as a finite sample from an underlying kernel---an \emph{attention graphon}---and studying concentration around this limit under the cut-distance. We derive a worst-case variance bound requiring no assumptions on the graphon, and a sharper regularity-aware bound based on nonparametric estimation theory. To operationalize the theory, we propose a canonicalize-then-block-average pipeline for estimating dataset-level attention graphons, and a variance-based diagnostic for testing whether attention admits a stable continuum description. Experiments across multiple graph benchmarks show that learned attention stabilizes to dataset-specific graphon structure on several datasets; that empirical cut-distance and cut-norm variance decreases with $n$ consistent with our bounds; and that attention graphons transfer to larger graph sizes with error decreasing in $n$.
• Abstract（参考訳）: グラフ変換器は、各注目ヘッドに対して、学習された対の相互作用の高密度な$n\times n$行列を生成する。 これらの注意によって引き起こされるグラフは、$n$が成長するにつれて安定なリミットオブジェクトに収束するのか、それとも学習された相互作用パターンは非構造的でサイズに依存しているのか? グラフ制限理論を用いてこの問題に答え、各注目行列を基礎となるカーネルから有限標本として扱う(-an \emph{attention graphon})。 我々は,非パラメトリック推定理論に基づいて,グラノンの仮定を必要としない最悪のケース分散と,よりシャープな正則性を考慮したバウンダリを導出する。 この理論を運用するために、データセットレベルのアテンショングラフを推定するための正準化ブロック平均パイプラインと、アテンションが安定な連続体記述を許容するか否かをテストするための分散ベースの診断を提案する。 複数のグラフベンチマークを用いて行った実験では、学習した注意は複数のデータセット上でデータセット固有のグラフ構造に安定化すること、実験的なカット距離とカットノームのばらつきは、境界値と一致する$n$で減少すること、注意グラフンは、エラーが$n$で減少するグラフサイズに移行すること、などが示されている。

関連論文リスト

• Fast Rates for Semi-Supervised Learning via Data-Augmentation Graph Regularization [1.0762008415887194]
  自己教師付き学習はラベルのごく一部から精度を指示するが、その背景にあるラベル付きサンプルの効率は理論的な説明に欠けていた。 データ拡張はラベルのないデータに類似性グラフを誘導するので、そのグラフ上の下流での学習はグラフ-ラプラシア正規化学習である。
  論文  参考訳（メタデータ） (2026-07-08T15:11:21Z)
• DiPhon: Diffusion on Graphons for Scalable Graph Generation [100.75398811422308]
  拡散モデルはグラフ生成の主要なパラダイムであり、分子設計のような領域に顕著な影響を与えている。 有限グラフ上のこれらのダイナミクスを模倣する離散化グラフレベルプロセスであるDiPhonを提案する。 我々は、DiPhonが連続グラノン過程によって引き起こされる限界分布の第一モーメントと正確に一致することを証明し、第二モーメントを閉形式差まで近似する。
  論文  参考訳（メタデータ） (2026-07-08T10:15:17Z)
• Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion [82.7007012514703]
  偏極的目的の下では、線形注意は準最適であり、トレーニング分布に対して平均スペクトル偏極フィルタを学習することしかできないことを示す。 本稿では、入力グラフスペクトルを直接利用し、分布のスペクトル多様性に支配されるマージンによって線形注意を確実に上回るスペクトル注意法を提案する。 ブロックモデルでは、GCAは理想化されたスペクトルアテンション機構に確実に適合する。
  論文  参考訳（メタデータ） (2026-07-07T17:52:17Z)
• Zero-Shot Size Transfer for Neural ODEs on Sparse Random Graphs: Graphon Limits and Adjoint Convergence [3.9125686386321195]
  グラフオン微分方程式 (Graphon Differential Equations, Graphon-NDEs) と随伴グラフオン-NDEs をフォワードおよび随伴E系の無限極極限とみなす。 また,DTO(disretize-then-Optimize)とOTD(Optimized-then-Discretize)のトレーニングについても検討した。
  論文  参考訳（メタデータ） (2026-06-25T06:53:20Z)
• When Do Graph Foundation Models Transfer? A Data-Centric Theory [68.54337055801571]
  グラフ基盤モデル(GFMs)は、様々なグラフドメインにまたがる単一のバックボーンの再利用を目的としているが、それらの転送は不均一であり、負の転送を示すことがある。 我々は、セットベースおよびメッセージパストークン化の両方に対して、任意のリプシッツバックボーンは、クロスドメイン出力シフトの明示的な分解を認めていることを示す。 我々はスペクトルPEの安定性を保証するとともに、固有ベクトルと部分空間に基づくPEの対比挙動を強調する。
  論文  参考訳（メタデータ） (2026-05-28T12:07:27Z)
• Generalized Graphon Process: Convergence of Graph Frequencies in Stretched Cut Distance [30.279435887366578]
  スパースグラフ列は、従来のカット距離の定義の下で自明なグラフオンに収束する。 我々は、スパースグラフ列の収束を記述するために、一般化グラフと拡張カット距離の概念を利用する。 その結果,スパースグラフ間の移動学習の可能性が示唆された。
  論文  参考訳（メタデータ） (2023-09-11T06:34:46Z)
• Path convergence of Markov chains on large graphs [3.693375843298262]
  グラフのサイズが無限大になるにつれて、プロセスのランダムな軌跡は測度値グラフの空間上の決定論的曲線に収束することを示す。 このアプローチの新たな特徴は、ある制限状態におけるメトロポリス連鎖に対して正確な指数収束速度を提供することである。
  論文  参考訳（メタデータ） (2023-08-18T00:13:59Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Graph and graphon neural network stability [122.06927400759021]
  グラフネットワーク(GNN)は、ネットワークデータの有意義な表現を生成するためにグラフ構造の知識に依存する学習アーキテクチャである。 我々は,GNNの安定性を,グラファイトと呼ばれるカーネルオブジェクトを用いて解析する。
  論文  参考訳（メタデータ） (2020-10-23T16:55:56Z)
• Continuous-time quantum walks in the presence of a quadratic perturbation [55.41644538483948]
  連続時間量子ウォークの特性を、$mathcalH=L + lambda L2$という形のハミルトン群で解決する。 低/高接続性および/または対称性を持つパラダイムモデルであるため、サイクル、完全、およびスターグラフを考える。
  論文  参考訳（メタデータ） (2020-05-13T14:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。