論文の概要: Topo-MLP : A Simplicial Network Without Message Passing

• arxiv url: http://arxiv.org/abs/2312.11862v1
• Date: Tue, 19 Dec 2023 05:14:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 17:03:02.837284
• Title: Topo-MLP : A Simplicial Network Without Message Passing
• Title（参考訳）: Topo-MLP : メッセージパスのない単純なネットワーク
• Authors: Karthikeyan Natesan Ramamurthy, Aldo Guzm\'an-S\'aenz, Mustafa Hajij
• Abstract要約: そこで本研究では, 単純ニューラルネットワークアルゴリズムであるTopo-MLPを提案し, 単純コンプレックス内の要素の表現を学習する。 本フレームワークは, 単純な構造を暗黙的に表現学習に取り入れた, より高次隣り合うコントラスト(HONC)損失を利用する。
• 参考スコア（独自算出の注目度）: 10.510920427421413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their ability to model meaningful higher order relations among a set of entities, higher order network models have emerged recently as a powerful alternative for graph-based network models which are only capable of modeling binary relationships. Message passing paradigm is still dominantly used to learn representations even for higher order network models. While powerful, message passing can have disadvantages during inference, particularly when the higher order connectivity information is missing or corrupted. To overcome such limitations, we propose Topo-MLP, a purely MLP-based simplicial neural network algorithm to learn the representation of elements in a simplicial complex without explicitly relying on message passing. Our framework utilizes a novel Higher Order Neighborhood Contrastive (HONC) loss which implicitly incorporates the simplicial structure into representation learning. Our proposed model's simplicity makes it faster during inference. Moreover, we show that our model is robust when faced with missing or corrupted connectivity structure.
• Abstract（参考訳）: エンティティセット間の有意義な高次関係をモデル化する能力により、近年、二元関係をモデル化できるグラフベースのネットワークモデルの強力な代替として高次ネットワークモデルが登場している。 メッセージパッシングパラダイムは、高次ネットワークモデルでも表現を学ぶために依然として優勢に使われている。 メッセージパッシングは強力だが、特に高次接続情報が欠落したり、破損した場合は、推論時に不利となることがある。 このような制限を克服するために、メッセージパッシングを明示的に依存することなく、単純複合体内の要素の表現を学習する、純粋にMLPベースの単純なニューラルネットワークアルゴリズムであるTopo-MLPを提案する。 本フレームワークは,単純構造を表現学習に暗黙的に組み込んだ,新しい高次近傍コントラスト(honc)損失を用いる。 提案するモデルの単純さは推論中に高速になる。 さらに,接続構造の欠如や破損に直面した場合には,モデルが堅牢であることを示す。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Can strong structural encoding reduce the importance of Message Passing? [0.0]
  本研究では,強い構造符号化を行う場合のメッセージパッシングの寄与について検討する。 テンソル積に基づく特徴情報と構造情報の相互作用をモデル化する新しい手法を提案する。 以上の結果から,テンソルベースエンコーディングは少なくとも連結ベースエンコーディングと同等であることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T16:29:44Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• SeqTR: A Simple yet Universal Network for Visual Grounding [88.03253818868204]
  本稿では,視覚的接地作業のためのシンプルな汎用ネットワークSeqTRを提案する。 画像とテキストの入力を条件とした点予測問題として,視覚的グラウンドリングを行った。 このパラダイムの下では、視覚的なグラウンドタスクはタスク固有のブランチやヘッドなしでSeqTRネットワークに統合されます。
  論文  参考訳（メタデータ） (2022-03-30T12:52:46Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• A Simple Generative Network [0.0]
  単純なアーキテクチャ(単一フィードフォワードニューラルネットワーク)と明確な最適化目標(Kullback_Leiblerの発散)は明らかに見落とされた。 本稿では,そのようなモデル (SGN) が, 従来の技術手法と比較して, 視覚的, 定量的に競合するサンプルを生成できることを実証する。
  論文  参考訳（メタデータ） (2021-06-17T08:49:17Z)
• Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
  グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。 本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:07:21Z)
• Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks [3.0017241250121383]
  MPSN(Message Passing Simplicial Networks)を提案します。 MPSNはsimplicial Complex (SC)上でメッセージパッシングを行うモデルである 我々は、MPSNがGNNが失敗する挑戦的な強正則グラフを区別できることを示すことによって、理論的な主張を実証的に支持する。
  論文  参考訳（メタデータ） (2021-03-04T18:35:24Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。