論文の概要: Oversmoothing as Representation Degeneracy in Neural Sheaf Diffusion

• arxiv url: http://arxiv.org/abs/2605.11178v1
• Date: Mon, 11 May 2026 19:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.389951
• Title: Oversmoothing as Representation Degeneracy in Neural Sheaf Diffusion
• Title（参考訳）: ニューラルシーフ拡散における表現デジェネシーとしてのオーバースムーシング
• Authors: Arif Dönmez, Axel Mosig, Ellen Fritsche, Katharina Koch,
• Abstract要約: NSD(Neural Sheaf Diffusion)は、スカラーグラフラプラシアンをシーフラプラシアンに置き換えることで、拡散に基づくグラフニューラルネットワークを一般化する。 グラフ上の細胞シーブを関連頻度の表現で同定し,NSDのクイバー理論的解釈を開発する。 そこで本研究では,基礎となる入射平均表現の直和分解が拡散限界に到達した調和空間の分解を誘導することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Sheaf Diffusion (NSD) generalizes diffusion-based Graph Neural Networks by replacing scalar graph Laplacians with sheaf Laplacians whose learned restriction maps define a task-adapted geometry. While the diffusion limit of NSD is known to be the space of global sections, the representation-theoretic structure of this harmonic space remains largely implicit. We develop a quiver-theoretic interpretation of NSD by identifying cellular sheaves on graphs with representations of the associated incidence quiver. Under this correspondence, learned sheaf geometries become points in a finite-dimensional representation space. We show that direct-sum decompositions of the underlying incidence-quiver representation induce decompositions of the harmonic space reached in the diffusion limit. This gives an algebraic interpretation of oversmoothing as representation degeneration: learned sheaves may collapse toward low-complexity summands whose global sections fail to preserve discriminative information. Building on this viewpoint, we connect sheaf diffusion to stability and moment-map principles from Geometric Invariant Theory. We introduce moment-map-inspired regularizers that bias restriction maps toward balanced representation geometries, and identify a structural obstruction in equal-stalk architectures: when $d_v = d_e$, admissibility for learnable stability parameters forces the trivial all-object summand onto a stability wall. Non-uniform stalk dimensions remove this obstruction, making adaptive stability meaningful. Experiments on heterophilic benchmarks are consistent with this mechanism: breaking stalk symmetry can reduce variance or improve validation behavior, and adaptive stability becomes more effective in selected rectangular settings. Overall, our framework reframes oversmoothing as a degeneration phenomenon in the representation geometry underlying learned sheaf diffusion.
• Abstract（参考訳）: NSD(Neural Sheaf Diffusion)は拡散に基づくグラフニューラルネットワークを一般化し、スカラーグラフラプラシアンを、学習された制限写像がタスク適応幾何を定義するシーフラプラシアンに置き換える。 NSD の拡散極限は大域部分の空間であることが知られているが、この調和空間の表現論的構造はほとんど暗黙的である。 我々は、関連する入射キーバーを表現したグラフ上の細胞シーブを同定し、NSDのクイバー理論的解釈を開発する。 この対応の下で、学習された層幾何学は有限次元表現空間の点となる。 そこで本研究では,基礎となる入射平均表現の直和分解が拡散限界に到達した調和空間の分解を誘導することを示す。 学習されたシーブは、グローバルセクションが識別情報を保存できないような低複雑さのサマンドに向かって崩壊する可能性がある。 この観点から、せん断拡散と安定性と幾何不変理論のモーメントマップ原理を結びつける。 平衡表現幾何学に偏りを与えるモーメントマップに着想を得た正規化器を導入し、等ストークアーキテクチャにおける構造的障害を同定する:$d_v = d_e$, 学習可能な安定パラメータに対する許容性は、自明な全対象を安定壁へ押し付ける。 非一様ストーク次元はこの障害を除去し、適応安定性を有意義にする。 ストーク対称性の破れは、ばらつきを減らしたり、検証の振る舞いを改善することができ、選択された長方形設定では適応安定性がより効果的になる。 全体として,本フレームワークは,学習層拡散を基盤とした表現幾何学における退化現象として,過度に平滑化を図っている。

関連論文リスト

• Continuous Limits of Coupled Flows in Representation Learning [13.704592299911157]
  局所的な相互作用によって駆動される分散アルゴリズムは、グローバルエラー信号の基本的な代替手段を提供する。 我々は、分散学習を緩やかな力学系として形式化し、このギャップを埋める。 我々のフレームワークは、離散アルゴリズムを連続解析でブリッジし、分散表現学習のための公式な理論ベースラインを提供する。
  論文  参考訳（メタデータ） (2026-04-18T03:19:54Z)
• Latent Semantic Manifolds in Large Language Models [0.0]
  本研究では,大規模言語モデルに隠れた状態を潜在意味多様体上の点として解釈する数学的枠組みを開発する。 我々は2つの定理を証明し、任意の有限語彙に対する歪みに対する速度歪みの低い境界と、表現可能性ギャップに対する線形体積スケーリング法則を証明した。 本稿では,アーキテクチャ設計,モデル圧縮,復号化戦略,スケーリング法則について論じる。
  論文  参考訳（メタデータ） (2026-03-17T13:05:56Z)
• The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
  本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
  論文  参考訳（メタデータ） (2026-03-05T04:50:51Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Learning Latent Graph Geometry via Fixed-Point Schrödinger-Type Activation: A Theoretical Study [1.1745324895296467]
  我々は、学習された潜在グラフ上の散逸的シュリンガー型ダイナミクスの定常状態として内部表現が進化するニューラルアーキテクチャの統一的理論的枠組みを開発する。 我々は、平衡の存在、一意性、滑らかな依存を証明し、力学がノルム保存ランダウ-リフシッツ流にブロッホ写像の下で等価であることを示す。 結果として得られるモデルクラスは、固定点 Schr"odinger 型のアクティベーションを通して潜在グラフ幾何学を学ぶためのコンパクトで幾何学的に解釈可能で解析的に抽出可能な基礎を提供する。
  論文  参考訳（メタデータ） (2025-07-27T00:35:15Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• A Signed Graph Approach to Understanding and Mitigating Oversmoothing in GNNs [54.62268052283014]
  署名されたグラフの枠組みに基づく統一的な理論的視点を示す。 既存の戦略の多くは、メッセージパッシングを変えて過度な操作に抵抗する負のエッジを暗黙的に導入している。 本稿では,ラベルや特徴の類似性に基づいて署名されたエッジを割り当てるプラグイン・アンド・プレイ方式であるStructure Balanced Propagation (SBP)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T03:25:36Z)
• Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
  深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。 すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
  論文  参考訳（メタデータ） (2023-08-31T15:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。