論文の概要: Higher-Order Attention Networks

• arxiv url: http://arxiv.org/abs/2206.00606v1
• Date: Wed, 1 Jun 2022 16:21:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 15:50:19.557099
• Title: Higher-Order Attention Networks
• Title（参考訳）: 高次注意ネットワーク
• Authors: Mustafa Hajij, Ghada Zamzmi, Theodore Papamarkou, Nina Miolane, Aldo Guzm\'an-S\'aenz, Karthikeyan Natesan Ramamurthy
• Abstract要約: 本稿では,高次アテンションネットワーク(HOAN)を紹介する。 HOANは、複合(CC)と呼ばれる一般化された高次領域上で定義される注意に基づくニューラルネットワークのクラスである。 メッシュ形状解析とグラフ学習に関するタスクの評価は,HOANが最先端のニューラルネットワークと比較して優れた予測性能を持つことを示す。
• 参考スコア（独自算出の注目度）: 11.924044247971432
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces higher-order attention networks (HOANs), a novel class of attention-based neural networks defined on a generalized higher-order domain called a combinatorial complex (CC). Similar to hypergraphs, CCs admit arbitrary set-like relations between a collection of abstract entities. Simultaneously, CCs permit the construction of hierarchical higher-order relations analogous to those supported by cell complexes. Thus, CCs effectively generalize both hypergraphs and cell complexes and combine their desirable characteristics. By exploiting the rich combinatorial nature of CCs, HOANs define a new class of message-passing attention-based networks that unifies higher-order neural networks. Our evaluation on tasks related to mesh shape analysis and graph learning demonstrates that HOANs attain competitive, and in some examples superior, predictive performance in comparison to state-of-the-art neural networks.
• Abstract（参考訳）: 本稿では,高次アテンションネットワーク(HOAN)について紹介する。これは,コンビナトリコンプレックス(CC)と呼ばれる一般化高次ドメイン上で定義された,注目に基づくニューラルネットワークの新たなクラスである。 ハイパーグラフと同様に、CCは抽象エンティティの集合の間の任意の集合のような関係を認める。 同時に、CCは細胞複合体に類似した階層的な高次関係の構築を許可する。 したがって、CCはハイパーグラフと細胞複合体の両方を効果的に一般化し、それらの望ましい特性を組み合わせる。 CCの豊富な組み合わせの性質を活用することで、HOANは高次ニューラルネットワークを統一するメッセージパッシングアテンションベースのネットワークの新たなクラスを定義する。 メッシュ形状解析とグラフ学習に関するタスクについての評価を行った結果,hoanは,最先端のニューラルネットワークと比較して,予測性能が優れていることが示された。

関連論文リスト

• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Inferring community structure in attributed hypergraphs using stochastic block models [3.335932527835653]
  本研究では,ノード属性データをハイパーグラフのコミュニティ構造学習に組み込む統計フレームワークを開発した。 我々は,HyperNEOと呼ぶモデルにより,人工・経験的ハイパーグラフにおけるコミュニティ構造の学習が促進されることを実証した。 我々は,現実世界の複合システムにおける高次コミュニティ構造の調査と理解の拡大を期待する。
  論文  参考訳（メタデータ） (2024-01-01T07:31:32Z)
• Learning Hierarchical Relational Representations through Relational Convolutions [2.5322020135765464]
  本稿では、より複雑な関係性の特徴を捉える計算機構を備えたニューラルネットワークである「リレーショナル畳み込みネットワーク」を紹介する。 このフレームワークの重要なコンポーネントは、グラフレットフィルタを畳み込み、オブジェクトのグループ内の関係パターンをキャプチャする新しい操作である。 アーキテクチャのモチベーションと詳細、およびリレーショナル畳み込みネットワークが階層構造を持つリレーショナルタスクをモデル化するための効果的なフレームワークを提供するための一連の実験を示す。
  論文  参考訳（メタデータ） (2023-10-05T01:22:50Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Topological Learning in Multi-Class Data Sets [0.3050152425444477]
  フィードフォワードディープニューラルネットワーク(DNN)の学習におけるトポロジカル複雑度の影響について検討する。 我々は,複数の構築およびオープンソースデータセットに対するトポロジ的分類アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2023-01-23T21:54:25Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Simplicial Neural Networks [0.0]
  SNN(Simplicial Neural Network)を提案する。 SNNは、Simplicial Complexと呼ばれる位相空間のクラスに存在するデータへのグラフニューラルネットワークの一般化である。 我々は,コオーサシップコンプレックスの欠落したデータを出力する作業において,SNNを試験する。
  論文  参考訳（メタデータ） (2020-10-07T20:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。