論文の概要: Tensorizing Subgraph Search in the Supernet

• arxiv url: http://arxiv.org/abs/2101.01078v1
• Date: Mon, 4 Jan 2021 16:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 22:53:53.175014
• Title: Tensorizing Subgraph Search in the Supernet
• Title（参考訳）: スーパーネットにおけるテンソル化部分グラフ探索
• Authors: Hansi Yang and Quanming Yao and James Kwok
• Abstract要約: 特殊な種類のグラフ、すなわちスーパーネットは、ニューラルアーキテクチャサーチ(NAS)におけるその力を示した。 テンソル定式化によるサブグラフ探索問題の一元化と,テンソルネットワークによるスーパーネット内部のトポロジーのエンコードを提案する。 また,探索問題を解くための決定論的目的と決定論的目的の両方を認める効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 34.1577170284719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a special kind of graph, i.e., supernet, which allows two nodes connected by multi-choice edges, has exhibited its power in neural architecture search (NAS) by searching for better architectures for computer vision (CV) and natural language processing (NLP) tasks. In this paper, we discover that the design of such discrete architectures also appears in many other important learning tasks, e.g., logical chain inference in knowledge graphs (KGs) and meta-path discovery in heterogeneous information networks (HINs). Thus, we are motivated to generalize the supernet search problem on a broader horizon. However, none of the existing works are effective since the supernet topology is highly task-dependent and diverse. To address this issue, we propose to tensorize the supernet, i.e., unify the subgraph search problems by a tensor formulation and encode the topology inside the supernet by a tensor network. We further propose an efficient algorithm that admits both stochastic and deterministic objectives to solve the search problem. Finally, we perform extensive experiments on diverse learning tasks, i.e., architecture design for CV, logic inference for KG, and meta-path discovery for HIN. Empirical results demonstrate that our method leads to better performance and architectures.
• Abstract（参考訳）: 近年,コンピュータビジョン(cv)と自然言語処理(nlp)タスクのための優れたアーキテクチャを探索することで,ニューラルネットワーク検索(nas)において,2つのノードを接続可能な特殊なグラフ,すなわちスーパーネットがその能力を発揮している。 本稿では,このような離散的アーキテクチャの設計が,知識グラフ(kgs)における論理連鎖推論やヘテロジニアス情報ネットワーク(hins)におけるメタパス発見など,多くの重要な学習タスクにも現れることを発見した。 したがって,我々はスーパーネット探索問題をより広い視野で一般化する動機がある。 しかし、スーパーネットトポロジーはタスクに依存し、多様であるため、既存の作品はどれも有効ではない。 この問題に対処するために,スーパーネットのテンソル化,すなわち,サブグラフ探索問題をテンソル定式化により統一し,スーパーネット内のトポロジーをテンソルネットワークで符号化する。 さらに,探索問題を解くための確率的目的と決定論的目的の両方を認める効率的なアルゴリズムを提案する。 最後に,多様な学習課題,すなわちCVのアーキテクチャ設計,KGの論理推論,HINのメタパス探索について広範な実験を行った。 実験結果から,本手法が優れた性能とアーキテクチャをもたらすことが示された。

関連論文リスト

• A Flexible, Equivariant Framework for Subgraph GNNs via Graph Products and Graph Coarsening [18.688057947275112]
  グラフグラフニューラルネットワーク(サブグラフGNN)は,グラフをサブグラフの集合として表現することで,メッセージパスGNNの表現性を向上する。 以前のアプローチでは、ランダムにまたは学習可能なサンプリングによって選択されたサブグラフのサブセットのみを処理することを提案していた。 本稿では,これらの問題に対処する新しいSubgraph GNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-13T16:29:06Z)
• Robust Graph Structure Learning under Heterophily [12.557639223778722]
  本稿では、下流タスクのための異種データから高品質なグラフを実現するための、新しい頑健なグラフ構造学習法を提案する。 まず,そのノードの特徴に構造情報をエンコードすることで,各ノードが近隣ノードとより区別されるようにハイパスフィルタを適用する。 そして、異なるレベルのノイズを特徴付ける適応ノルムを持つ頑健なグラフを学習する。
  論文  参考訳（メタデータ） (2024-03-06T12:29:13Z)
• GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention [52.67633391931959]
  グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。 グラフシンクホーン注意機構(GSINA)を提案する。 GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
  論文  参考訳（メタデータ） (2024-02-11T12:57:16Z)
• MGNet: Learning Correspondences via Multiple Graphs [78.0117352211091]
  学習対応は、不均一な対応分布と低い不整合率で設定された初期対応から正しい対応を見つけることを目的としている。 最近の進歩は、通常、グラフニューラルネットワーク(GNN)を使用して単一のタイプのグラフを構築したり、グローバルなグラフに局所グラフをスタックしてタスクを完了させる。 本稿では,複数の補完グラフを効果的に組み合わせるためのMGNetを提案する。
  論文  参考訳（メタデータ） (2024-01-10T07:58:44Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Demystifying Graph Convolution with a Simple Concatenation [6.542119695695405]
  グラフトポロジ、ノード特徴、ラベル間の重なり合う情報を定量化する。 グラフの畳み込みは、グラフの畳み込みに代わる単純だが柔軟な代替手段であることを示す。
  論文  参考訳（メタデータ） (2022-07-18T16:39:33Z)
• SHGNN: Structure-Aware Heterogeneous Graph Neural Network [77.78459918119536]
  本稿では、上記の制約に対処する構造対応不均一グラフニューラルネットワーク(SHGNN)を提案する。 まず,メタパス内の中間ノードの局所構造情報を取得するために,特徴伝搬モジュールを利用する。 次に、ツリーアテンションアグリゲータを使用して、グラフ構造情報をメタパス上のアグリゲーションモジュールに組み込む。 最後に、メタパスアグリゲータを利用して、異なるメタパスから集約された情報を融合する。
  論文  参考訳（メタデータ） (2021-12-12T14:18:18Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。