論文の概要: Simplifying the Theory on Over-Smoothing

• arxiv url: http://arxiv.org/abs/2407.11876v2
• Date: Mon, 2 Sep 2024 09:49:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 17:21:21.128136
• Title: Simplifying the Theory on Over-Smoothing
• Title（参考訳）: 過平滑化理論の簡易化
• Authors: Andreas Roth,
• Abstract要約: グラフの畳み込みは過剰な平滑化を引き起こす。 本稿では,過度な平滑化がパワーの特殊な場合であることを示すことによって,これらの方向を整列させようとする。
• 参考スコア（独自算出の注目度）: 0.27195102129095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutions have gained popularity due to their ability to efficiently operate on data with an irregular geometric structure. However, graph convolutions cause over-smoothing, which refers to representations becoming more similar with increased depth. However, many different definitions and intuitions currently coexist, leading to research efforts focusing on incompatible directions. This paper attempts to align these directions by showing that over-smoothing is merely a special case of power iteration. This greatly simplifies the existing theory on over-smoothing, making it more accessible. Based on the theory, we provide a novel comprehensive definition of rank collapse as a generalized form of over-smoothing and introduce the rank-one distance as a corresponding metric. Our empirical evaluation of 14 commonly used methods shows that more models than were previously known suffer from this issue.
• Abstract（参考訳）: グラフの畳み込みは、不規則な幾何学構造を持つデータに対して効率的に操作できる能力によって人気を集めている。 しかし、グラフの畳み込みは過剰な平滑化を引き起こす。 しかし、現在では多くの異なる定義や直観が共存しており、相容れない方向に焦点を当てた研究に繋がる。 本稿では,過平滑化がパワーイテレーションの特別な場合であることを示すことによって,これらの方向を整列させようとする。 これにより、オーバー・スムーシングに関する既存の理論が大幅に単純化され、よりアクセスしやすくなる。 この理論に基づいて、オーバースムーシングの一般化形式としてのランク崩壊の包括的定義を提供し、対応する計量としてランクワン距離を導入する。 14の手法を実証的に評価したところ,これまでに知られていたよりも多くのモデルがこの問題に悩まされていることがわかった。

関連論文リスト

• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
  グラフ上での対実的説明生成の問題について検討する。 グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。 本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
  論文  参考訳（メタデータ） (2022-10-16T04:35:32Z)
• Partial Disentanglement via Mechanism Sparsity [25.791043728989937]
  メカニズムの疎性による絡み合いは、監督なしで潜伏要因を抽出する原則的アプローチとして導入された。 我々は、この理論の一般化を導入し、任意の基底真実グラフに適用する。 我々は、一貫性と呼ばれるモデルに対する新しい同値関係を通じて、学習された表現がいかに無関係になるかを示す。
  論文  参考訳（メタデータ） (2022-07-15T20:06:12Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• On the Generalization Mystery in Deep Learning [15.2292571922932]
  2つの質問に対する答えは、トレーニング中の異なる例の勾配の相互作用にあると論じる。 我々は、コヒーレンスに対する計算が容易で解釈可能な計量を用いて、この議論を定式化する。 この理論は、なぜいくつかの例が他の例よりも早く確実に学習されるのかなど、ディープラーニングの他の多くの現象についても説明している。
  論文  参考訳（メタデータ） (2022-03-18T16:09:53Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [95.37587481952487]
  長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-28T00:32:11Z)
• On Counterfactual Explanations under Predictive Multiplicity [14.37676876556672]
  対実的な説明は通常、入力に対する最小の変更を識別して、固定されたモデルによる予測を変更することによって得られる。 最近の研究は古い洞察を復活させ、一般的に使用される関心の尺度に関して予測問題に対する優れた解決策が1つ存在しないことがしばしばある。
  論文  参考訳（メタデータ） (2020-06-23T16:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。