論文の概要: GATE: How to Keep Out Intrusive Neighbors

• arxiv url: http://arxiv.org/abs/2406.00418v2
• Date: Mon, 29 Jul 2024 18:08:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 21:43:34.812990
• Title: GATE: How to Keep Out Intrusive Neighbors
• Title（参考訳）: GATE: 隣人の侵入を抑える方法
• Authors: Nimrah Mustafa, Rebekka Burkholz,
• Abstract要約: 本稿では,グラフ注意ネットワークの拡張であるGATEを提案する。 GATEは、不要な地区集約の根本原因に対処することで、過剰なスムーシングを緩和する。 無関係な隣人との接続を減らすことで、実世界の異性愛的なデータセットでGATを上回ります。
• 参考スコア（独自算出の注目度）: 16.63360751255867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Attention Networks (GATs) are designed to provide flexible neighborhood aggregation that assigns weights to neighbors according to their importance. In practice, however, GATs are often unable to switch off task-irrelevant neighborhood aggregation, as we show experimentally and analytically. To address this challenge, we propose GATE, a GAT extension that holds three major advantages: i) It alleviates over-smoothing by addressing its root cause of unnecessary neighborhood aggregation. ii) Similarly to perceptrons, it benefits from higher depth as it can still utilize additional layers for (non-)linear feature transformations in case of (nearly) switched-off neighborhood aggregation. iii) By down-weighting connections to unrelated neighbors, it often outperforms GATs on real-world heterophilic datasets. To further validate our claims, we construct a synthetic test bed to analyze a model's ability to utilize the appropriate amount of neighborhood aggregation, which could be of independent interest.
• Abstract（参考訳）: グラフ注意ネットワーク(GAT)は、その重要性に応じて隣人に重みを割り当てるフレキシブルな近隣アグリゲーションを提供するように設計されている。 しかし, 実例では, GATは, 実験的, 解析的に, タスク非関連近傍集約をオフにできないことが多い。 この課題に対処するために、GATEという3つの大きな利点を持つGAT拡張を提案する。 一 不要地区集積の根本原因に対処することにより過密を緩和すること。 二 パーセプトロンと同様に、(ほぼ)切替された近傍集合の場合、(非)線形特徴変換のために追加の層を利用することができるので、より深い深さの恩恵を受けることができる。 三 関係のない隣人との低重み付けにより、実世界の異種性データセットにおいて、GATを上回ります。 この主張をさらに検証するため、我々は、モデルが独立した関心を持つ可能性のある適切な量の近傍集約を利用する能力を分析するために、合成テストベッドを構築した。

関連論文リスト

• Towards Adaptive Neighborhood for Advancing Temporal Interaction Graph Modeling [19.831424038609462]
  テンポラルグラフネットワーク(TGN)は、テンポラル相互作用グラフのモデル化において、その顕著な性能を実証している。 本稿では,適応型近傍符号化機構を導入し,既存のTGNの強化を目指す。 既存のTGNとシームレスに統合可能な,フレキシブルなプラグアンドプレイモデルSEANを提案する。
  論文  参考訳（メタデータ） (2024-06-14T07:57:17Z)
• Non-Neighbors Also Matter to Kriging: A New Contrastive-Prototypical Learning [24.701170582359104]
  既存の研究は、隣人の情報が、観測されていない対象の属性を推定する基盤を提供すると仮定している。 本研究では,隣人からの貴重な情報を洗練し,非隣人からの情報を再利用するために,KrigingのためのContrastive-Prototypealの自己教師型学習を提案する。
  論文  参考訳（メタデータ） (2024-01-23T11:46:31Z)
• CAT: A Causally Graph Attention Network for Trimming Heterophilic Graph [3.675557654309217]
  グラフ注意ネットワーク(GAT)は、グラフ上のより優れた局所的な集約のために、近隣ノードの重要性を適応的に学習するように設計されている。 既存のGATは、異種近傍の高割合が中心ノードの自己認識を弱めるため、異種グラフにおいて顕著な識別能力の低下に悩まされる。 本稿では,隣接するノードの抽出効果(DE)を推定し,弱めるために,異種グラフをトリミングするCausally graph Attention Networkを提案する。
  論文  参考訳（メタデータ） (2023-12-14T06:08:59Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Trust your Good Friends: Source-free Domain Adaptation by Reciprocal Neighborhood Clustering [50.46892302138662]
  我々は、ソースデータがない場合に、ソース事前学習されたモデルをターゲット領域に適応させる、ソースフリー領域適応問題に対処する。 提案手法は,ソースドメイン分類器と一致しない可能性のあるターゲットデータが,依然として明確なクラスタを形成しているという観測に基づいている。 本研究では, この地域構造を, 地域住民, 相互隣人, 及び拡張近所を考慮し, 効率的に把握できることを実証する。
  論文  参考訳（メタデータ） (2023-09-01T15:31:18Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning [29.482674624323835]
  そこで我々は,NCL(Nighborhood-enriched Contrastive Learning)という新しいコントラスト学習手法を提案する。 相互作用グラフ上の構造的隣人に対しては、ユーザ(またはアイテム)とその構造的隣人を正のコントラスト的対とみなす新しい構造的対照的な目的を開発する。 実装では、ユーザ(またはアイテム)と隣人の表現は異なるGNN層の出力に対応する。
  論文  参考訳（メタデータ） (2022-02-13T04:18:18Z)
• Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation [47.907168218249694]
  我々は、ソースデータがない場合に、ソース事前学習されたモデルをターゲット領域に適応させる、ソースフリー領域適応問題に対処する。 対象データの局所親和性を定義し, 局所親和性の高いデータ間のラベルの整合性を促進することによって, この固有構造を捉える。 本研究では, この地域構造を, 地域住民, 相互隣人, 及び拡張近所を考慮し, 効率的に把握できることを実証する。
  論文  参考訳（メタデータ） (2021-10-08T15:40:18Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• A Unified Model for Recommendation with Selective Neighborhood Modeling [9.367539466637664]
  そこで我々は、類似の隣人を異種(ノイズの多い)から自動的に分離するハイブリッドゲートネットワークを設計する、新しい近所ベースのレコメンデータを提案する。 提案モデルは,最先端の地域ベースレコメンデーションよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-19T08:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。