論文の概要: Partial Graph Reasoning for Neural Network Regularization

• arxiv url: http://arxiv.org/abs/2106.01805v1
• Date: Thu, 3 Jun 2021 12:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:26:03.193121
• Title: Partial Graph Reasoning for Neural Network Regularization
• Title（参考訳）: ニューラルネットワーク規則化のための部分グラフ推論
• Authors: Tiange Xiang, Chaoyi Zhang, Yang Song, Siqi Liu, Hongliang Yuan, Weidong Cai
• Abstract要約: ドロップアウト(Dropout)は、よく使われる正規化手法であり、ネットワーク最適化中にニューロンのc-tivationsを無効にする。 バックボーンの特徴からスタンドアローングラフを構築することで正規化関数を学習するDropGraphを提案する。 このアドオングラフはトレーニング中にネットワークを正規化し、推論中に完全にスキップすることができる。
• 参考スコア（独自算出の注目度）: 26.793648333908905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularizers helped deep neural networks prevent feature co-adaptations. Dropout,as a commonly used regularization technique, stochastically disables neuron ac-tivations during network optimization. However, such complete feature disposal can affect the feature representation and network understanding. Toward betterdescriptions of latent representations, we present DropGraph that learns regularization function by constructing a stand-alone graph from the backbone features. DropGraph first samples stochastic spatial feature vectors and then incorporates graph reasoning methods to generate feature map distortions. This add-on graph regularizes the network during training and can be completely skipped during inference. We provide intuitions on the linkage between graph reasoning andDropout with further discussions on how partial graph reasoning method reduces feature correlations. To this end, we extensively study the modeling of graphvertex dependencies and the utilization of the graph for distorting backbone featuremaps. DropGraph was validated on four tasks with a total of 7 different datasets.The experimental results show that our method outperforms other state-of-the-art regularizers while leaving the base model structure unmodified during inference.
• Abstract（参考訳）: 正規化器は、ディープニューラルネットワークが機能共適応を防ぐのに役立った。 ドロップアウト(英: Dropout)は、一般的に使われる正規化手法であり、ネットワーク最適化中にニューロンのアクチベーションを確率的に無効にする。 しかし、このような完全な特徴処理は、特徴表現とネットワーク理解に影響を与える可能性がある。 遅延表現のより良い記述に向けて、バックボーンの特徴からスタンドアローングラフを構築することで正規化関数を学ぶDropGraphを提案する。 DropGraphはまず確率空間的特徴ベクトルをサンプリングし、それから特徴写像歪みを生成するグラフ推論手法を組み込む。 このアドオングラフはトレーニング中にネットワークを正規化し、推論中に完全にスキップすることができる。 本稿では,グラフ推論とドロップアウトの関連について直観的考察を行い,部分的グラフ推論手法による特徴相関の低減について考察する。 この目的のために我々はgraphvertex依存性のモデリングとバックボーン特徴マップの歪みに対するグラフの利用を広範囲に研究した。 DropGraphは7つの異なるデータセットを持つ4つのタスクで検証され、実験の結果、提案手法は推論中にベースモデル構造を変更せずに、他の最先端の正規化器よりも優れていることが示された。

関連論文リスト

• Saliency-Aware Regularized Graph Neural Network [39.82009838086267]
  グラフ分類のためのSAR-GNN(Saliency-Aware Regularized Graph Neural Network)を提案する。 まず,コンパクトなグラフ表現とノード特徴とのセマンティックな類似性を測定することで,グローバルノードの正当性を推定する。 そして、学習した塩分濃度分布を利用して、背骨の近傍集合を規則化する。
  論文  参考訳（メタデータ） (2024-01-01T13:44:16Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• Node Copying: A Random Graph Model for Effective Graph Sampling [35.957719744856696]
  本稿では,グラフ上の分布を構成するノードコピーモデルを提案する。 コピーモデルの有用性を3つのタスクで示す。 提案モデルを用いて,グラフトポロジに対する敵攻撃の効果を緩和する。
  論文  参考訳（メタデータ） (2022-08-04T04:04:49Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Intrusion-Free Graph Mixup [33.07540841212878]
  グラフニューラルネットワーク(GNN)の一般化を改善するための,単純かつ効果的な正規化手法を提案する。 視覚とテキストのためのMixup regularizerの最近の進歩を利用して、ランダムなサンプルペアとそのラベルを補間して、トレーニング用の合成サンプルを作成する。 提案手法は,グラフ分類学習を効果的に正規化することが可能であり,一般的なグラフ拡張ベースラインよりも予測精度が優れている。
  論文  参考訳（メタデータ） (2021-10-18T14:16:00Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。