論文の概要: How Wide and How Deep? Mitigating Over-Squashing of GNNs via Channel Capacity Constrained Estimation

• arxiv url: http://arxiv.org/abs/2511.06443v1
• Date: Sun, 09 Nov 2025 16:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.948406
• Title: How Wide and How Deep? Mitigating Over-Squashing of GNNs via Channel Capacity Constrained Estimation
• Title（参考訳）: チャネル容量制約推定によるGNNの過密の緩和
• Authors: Zinuo You, Jin Zheng, John Cartlidge,
• Abstract要約: 既存のグラフニューラルネットワークは、隠れた次元と伝播深さの選択に依存しており、オーバーカッシングとして知られる伝播中に深刻な情報損失を引き起こすことが多い。 本稿では,情報理論に基づく非線形プログラミング問題として,隠れ次元と深さの選択を定式化する新しいフレームワークであるChannel Capacity Constrained Estimation (C3E)を提案する。
• 参考スコア（独自算出の注目度）: 16.474933482743513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing graph neural networks typically rely on heuristic choices for hidden dimensions and propagation depths, which often lead to severe information loss during propagation, known as over-squashing. To address this issue, we propose Channel Capacity Constrained Estimation (C3E), a novel framework that formulates the selection of hidden dimensions and depth as a nonlinear programming problem grounded in information theory. Through modeling spectral graph neural networks as communication channels, our approach directly connects channel capacity to hidden dimensions, propagation depth, propagation mechanism, and graph structure. Extensive experiments on nine public datasets demonstrate that hidden dimensions and depths estimated by C3E can mitigate over-squashing and consistently improve representation learning. Experimental results show that over-squashing occurs due to the cumulative compression of information in representation matrices. Furthermore, our findings show that increasing hidden dimensions indeed mitigate information compression, while the role of propagation depth is more nuanced, uncovering a fundamental balance between information compression and representation complexity.
• Abstract（参考訳）: 既存のグラフニューラルネットワークは、通常、隠れた次元と伝播深さのヒューリスティックな選択に依存しており、オーバー・スカッシング(英語版)として知られる伝播中に深刻な情報損失を引き起こす。 この問題に対処するため,情報理論に基づく非線形プログラミング問題として,隠れ次元と深さの選択を定式化する新しいフレームワークであるチャネル容量制約推定(C3E)を提案する。 スペクトルグラフニューラルネットワークを通信チャネルとしてモデル化することにより,チャネルキャパシティを隠れ次元,伝播深さ,伝播機構,グラフ構造に直接接続する。 9つの公開データセットに関する大規模な実験は、C3Eによって推定される隠された次元と深さが過剰な監視を緩和し、表現学習を一貫して改善できることを示した。 実験結果から,表象行列における情報の累積圧縮により,オーバー・スクワッシングが発生することが示された。 さらに,隠れ次元の増大は情報圧縮を著しく軽減するが,伝播深度の役割はより微妙であり,情報圧縮と表現複雑性の基本的なバランスを明らかにする。

関連論文リスト

• An unsupervised tour through the hidden pathways of deep neural networks [6.063903439185316]
  この論文は、教師なし学習ツールによる隠蔽表現の意味的内容の特徴付けに焦点を当てている。 第3章では、最先端のディープニューラルネットワークにおいて、隠れた層にまたがる確率密度の進化について検討する。 第4章では、ディープニューラルネットワークにおける一般化の問題について検討する。
  論文  参考訳（メタデータ） (2025-10-24T15:50:31Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Unsupervised Spike Depth Estimation via Cross-modality Cross-domain Knowledge Transfer [53.413305467674434]
  スパイク深度推定をサポートするためにオープンソースのRGBデータを導入し,そのアノテーションと空間情報を活用する。 教師なしスパイク深さ推定を実現するために,クロスモーダルクロスドメイン(BiCross)フレームワークを提案する。 提案手法は,RGB指向の教師なし深度推定法と比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-08-26T09:35:20Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• Dilated Fully Convolutional Neural Network for Depth Estimation from a Single Image [1.0131895986034314]
  従来のCNNの欠点に対処するために,高度な拡張完全畳み込みニューラルネットワークを提案する。 拡張畳み込みにおける受容野の指数拡大の利点を利用して、我々のモデルは分解能の損失を最小限に抑えることができる。 本研究では,nyu深部v2データセットを用いて,従来のcnns手法よりも奥行き予測が基礎的真理にかなり近いことを示す。
  論文  参考訳（メタデータ） (2021-03-12T23:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。