論文の概要: Position: Don't be Afraid of Over-Smoothing And Over-Squashing

• arxiv url: http://arxiv.org/abs/2601.07419v1
• Date: Mon, 12 Jan 2026 11:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.350546
• Title: Position: Don't be Afraid of Over-Smoothing And Over-Squashing
• Title（参考訳）: 位置: オーバースムーシングとオーバースキャッシングを控えるな。
• Authors: Niklas Kormann, Benjamin Doerr, Johannes F. Lutzeyer,
• Abstract要約: 性能低下は過度なスムースではなく、非形式的受容場に起因することが多いと我々は主張する。 過度な監視を緩和するために設計されたアーキテクチャ上の介入は、大きなパフォーマンス向上をもたらすことができないことを示す。
• 参考スコア（独自算出の注目度）: 22.895536023786974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over-smoothing and over-squashing have been extensively studied in the literature on Graph Neural Networks (GNNs) over the past years. We challenge this prevailing focus in GNN research, arguing that these phenomena are less critical for practical applications than assumed. We suggest that performance decreases often stem from uninformative receptive fields rather than over-smoothing. We support this position with extensive experiments on several standard benchmark datasets, demonstrating that accuracy and over-smoothing are mostly uncorrelated and that optimal model depths remain small even with mitigation techniques, thus highlighting the negligible role of over-smoothing. Similarly, we challenge that over-squashing is always detrimental in practical applications. Instead, we posit that the distribution of relevant information over the graph frequently factorises and is often localised within a small k-hop neighbourhood, questioning the necessity of jointly observing entire receptive fields or engaging in an extensive search for long-range interactions. The results of our experiments show that architectural interventions designed to mitigate over-squashing fail to yield significant performance gains. This position paper advocates for a paradigm shift in theoretical research, urging a diligent analysis of learning tasks and datasets using statistics that measure the underlying distribution of label-relevant information to better understand their localisation and factorisation.
• Abstract（参考訳）: オーバー・スムーシングとオーバー・スカッシングは、近年、グラフニューラルネットワーク(GNN)に関する文献で広く研究されている。 我々は、GNN研究におけるこの一般的な焦点に挑戦し、これらの現象は、想定されるよりも実践的応用にとって重要ではないと主張した。 性能低下は過度な平滑化ではなく、非形式的受容場に起因することが多いことを示唆する。 我々は、いくつかの標準ベンチマークデータセットにおいて、この位置を広範囲にわたる実験で支持し、精度と過度な平滑化はほとんど相関がなく、最適モデル深度は緩和技術でも小さいことを示し、過度な平滑化の無視的な役割を強調した。 同様に、オーバースカッシングは実用アプリケーションでは常に有害である、という課題にも挑戦する。 代わりに、グラフ上の関連情報の分布は、しばしば分解され、小さなkホップの近傍で局所化され、受容場全体を共同で観察したり、長距離相互作用の広範な探索を行う必要性を疑問視する。 実験の結果,過度な監視を緩和するために設計されたアーキテクチャ介入は,大幅な性能向上をもたらすことが示唆された。 本稿では,学習課題とデータセットの厳密な分析を,その局所化と分解をよりよく理解するために,ラベル関連情報の分布を計測する統計を用いて,理論的研究におけるパラダイムシフトを提唱する。

関連論文リスト

• Position: Graph Learning Will Lose Relevance Due To Poor Benchmarks [37.020118015110086]
  グラフ上の機械学習は、薬物設計と分子特性予測の可能性を証明している。 このポジションペーパーは、より有意義なベンチマーク、厳格な評価プロトコル、そしてドメインエキスパートとのより強力なコラボレーションへのパラダイムシフトを要求する。
  論文  参考訳（メタデータ） (2025-02-20T13:21:47Z)
• Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
  介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。 本稿では,観察的および介入的設定における各変数の限界分布の比較に依拠する,介入忠実性の新たな変種を紹介する。 また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
  論文  参考訳（メタデータ） (2024-05-28T16:07:17Z)
• A Survey of Deep Long-Tail Classification Advancements [1.6233132273470656]
  実世界の多くのデータ分布は、ほとんど均一ではない。代わりに、様々な種類の歪んだ、長い尾の分布がよく見られる。 これは機械学習にとって興味深い問題であり、ほとんどのアルゴリズムが均一に分散されたデータを想定したり、うまく機能する。 この問題は、大量のトレーニングデータを必要とする現在の最先端のディープラーニングモデルによってさらに悪化している。
  論文  参考訳（メタデータ） (2024-04-24T01:59:02Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Deconfounded Training for Graph Neural Networks [98.06386851685645]
  本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-30T15:22:35Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Selecting Data Augmentation for Simulating Interventions [12.848239550098693]
  純粋に観察データで訓練された機械学習モデルと経験的リスクの原則は、目に見えない領域に一般化することができない。 我々は、データ拡張の成功を説明するために、観察されたドメインとタスクラベルの急激な相関を弱める方法を説明するために、因果的概念を用いることができると論じる。
  論文  参考訳（メタデータ） (2020-05-04T21:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。