論文の概要: Effective Structural Encodings via Local Curvature Profiles

• arxiv url: http://arxiv.org/abs/2311.14864v1
• Date: Fri, 24 Nov 2023 22:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 23:08:57.932132
• Title: Effective Structural Encodings via Local Curvature Profiles
• Title（参考訳）: 局所曲率プロファイルによる効率的な構造符号化
• Authors: Lukas Fesser, Melanie Weber
• Abstract要約: 離散リッチ曲率に基づく新しい構造符号化法(局所曲率プロファイル,短いLCP)を提案する。 既存の符号化手法よりも大幅に優れていることを示す。 異なるエンコーディングタイプを、再配線(曲率に基づく)技術と比較する。
• 参考スコア（独自算出の注目度）: 1.3144299362395917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural and Positional Encodings can significantly improve the performance of Graph Neural Networks in downstream tasks. Recent literature has begun to systematically investigate differences in the structural properties that these approaches encode, as well as performance trade-offs between them. However, the question of which structural properties yield the most effective encoding remains open. In this paper, we investigate this question from a geometric perspective. We propose a novel structural encoding based on discrete Ricci curvature (Local Curvature Profiles, short LCP) and show that it significantly outperforms existing encoding approaches. We further show that combining local structural encodings, such as LCP, with global positional encodings improves downstream performance, suggesting that they capture complementary geometric information. Finally, we compare different encoding types with (curvature-based) rewiring techniques. Rewiring has recently received a surge of interest due to its ability to improve the performance of Graph Neural Networks by mitigating over-smoothing and over-squashing effects. Our results suggest that utilizing curvature information for structural encodings delivers significantly larger performance increases than rewiring.
• Abstract（参考訳）: 構造的および位置的エンコーディングは、下流タスクにおけるグラフニューラルネットワークの性能を著しく向上させることができる。 最近の文献では、これらのアプローチがエンコードする構造的性質の違いや、それらの間のパフォーマンス上のトレードオフを体系的に研究し始めた。 しかし、どの構造的性質が最も効果的なエンコーディングをもたらすかという問題は未解決のままである。 本稿では,この質問を幾何学的観点から検討する。 本稿では,離散的リッチ曲率(局所曲率プロファイル,短いlcp)に基づく新しい構造的符号化法を提案する。 さらに,LCPなどの局所的構造符号化とグローバルな位置符号化を組み合わせることで,下流の性能が向上することを示す。 最後に、異なるエンコーディングタイプと(曲線ベース)リワイリングテクニックを比較した。 rewiringは最近、オーバースムーシング効果とオーバースワッシング効果を緩和することで、グラフニューラルネットワークのパフォーマンスを向上させる能力によって、注目を集めている。 以上の結果から,構造エンコーディングにおける曲率情報の利用により,再生よりも大幅に性能が向上することが示唆された。

関連論文リスト

• Rewiring Techniques to Mitigate Oversquashing and Oversmoothing in GNNs: A Survey [0.0]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習するための強力なツールだが,その有効性は2つの重要な課題によって制約されることが多い。 オーバーキャッシング(Oversquashing) – 遠いノードからの情報の過剰な圧縮が大きな情報損失と過度なスムース化をもたらし、繰り返しメッセージパッシングの繰り返しがノード表現を均質化し、意味のある区別を隠蔽する。 本研究では,グラフトポロジを改良して情報拡散を高めることで,これらの構造的ボトルネックに対処する手法であるグラフリウィリング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-26T13:38:12Z)
• AdaRC: Mitigating Graph Structure Shifts during Test-Time [66.40525136929398]
  テスト時間適応(TTA)は、ソースドメインに再アクセスすることなく、トレーニング済みのモデルをターゲットドメインに適応できる能力によって注目を集めている。 AdaRCは,グラフの構造シフトに効果的かつ効率的な適応を意図した,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T15:15:40Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• CF-OPT: Counterfactual Explanations for Structured Prediction [47.36059095502583]
  ディープニューラルネットワークの最適化レイヤは構造化学習で人気を博し、さまざまなアプリケーションにおける最先端技術の改善に寄与している。 しかし、これらのパイプラインは2つの不透明な層(ディープニューラルネットワークのような非常に非線形な予測モデル)と、通常複雑なブラックボックス解決器である最適化層)で構成されているため、解釈性に欠ける。 我々のゴールは、このような手法の透明性を向上させることであり、対実的な説明を提供することである。
  論文  参考訳（メタデータ） (2024-05-28T15:48:27Z)
• Predicting Transonic Flowfields in Non-Homogeneous Unstructured Grids Using Autoencoder Graph Convolutional Networks [0.0]
  本稿では,計算流体力学(CFD)においてよく用いられる非均一非構造格子による問題に対処することに焦点を当てる。 我々のアプローチの核となるのは幾何学的深層学習、特にグラフ畳み込みネットワーク(GCN)の利用である。 新規なAutoencoder GCNアーキテクチャは、情報を遠隔ノードに伝播し、影響力のある点を強調することにより、予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-05-07T15:18:21Z)
• Structural Re-weighting Improves Graph Domain Adaptation [13.019371337183202]
  本研究は,グラフ構造やノード属性による分散シフトの影響について検討する。 構造再重み付け(StruRW)と呼ばれる新しい手法がこの問題に対処するために提案され、合成グラフ、ベンチマークデータセット4つ、高エネルギー物理学における新しい応用についてテストされている。
  論文  参考訳（メタデータ） (2023-06-05T20:11:30Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent [6.055286666916789]
  本稿では, 偏微分自体を符号化し, さらに, 導出語に対して損失圧縮を行うことにより, 符号を最適化するアルゴリズムを提案する。 この符号化理論の適用性は、勾配降下に基づく学習アルゴリズムにおいてノイズは許容可能であり、時には有用である、という最適化研究における観測事実の幾何学的帰結である。
  論文  参考訳（メタデータ） (2022-01-31T04:08:53Z)
• Local Augmentation for Graph Neural Networks [78.48812244668017]
  本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。 局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
  論文  参考訳（メタデータ） (2021-09-08T18:10:08Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。