論文の概要: Graph-Based Similarity of Neural Network Representations

• arxiv url: http://arxiv.org/abs/2111.11165v1
• Date: Mon, 22 Nov 2021 13:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 16:56:29.527434
• Title: Graph-Based Similarity of Neural Network Representations
• Title（参考訳）: グラフに基づくニューラルネットワーク表現の類似性
• Authors: Zuohui Chen, Yao Lu, Wen Yang, Qi Xuan, Xiaoniu Yang
• Abstract要約: レイヤー特徴の類似度を測定するために,グラフベース類似度(GBS)を提案する。 各入力サンプルをノードとして扱い、対応するレイヤの類似性をエッジとして出力することにより、各レイヤの表現グラフを構築する。 GBSは、類似性を反映した最先端のパフォーマンスを示し、隠された層空間上での対角的なサンプルの振る舞いを説明する洞察を提供する。
• 参考スコア（独自算出の注目度）: 8.424772972066696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the black-box representations in Deep Neural Networks (DNN) is an essential problem in deep learning. In this work, we propose Graph-Based Similarity (GBS) to measure the similarity of layer features. Contrary to previous works that compute the similarity directly on the feature maps, GBS measures the correlation based on the graph constructed with hidden layer outputs. By treating each input sample as a node and the corresponding layer output similarity as edges, we construct the graph of DNN representations for each layer. The similarity between graphs of layers identifies the correspondences between representations of models trained in different datasets and initializations. We demonstrate and prove the invariance property of GBS, including invariance to orthogonal transformation and invariance to isotropic scaling, and compare GBS with CKA. GBS shows state-of-the-art performance in reflecting the similarity and provides insights on explaining the adversarial sample behavior on the hidden layer space.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)におけるブラックボックス表現を理解することは、ディープラーニングにおいて不可欠な問題である。 本研究では,レイヤ特徴の類似度を測定するために,グラフベース類似度(GBS)を提案する。 特徴マップ上で直接類似度を計算する以前の作業とは対照的に、gbsは隠れたレイヤ出力で構築されたグラフに基づいて相関を測定する。 入力サンプルをノードとして扱い、それに対応する層をエッジとして出力することにより、各層に対するDNN表現のグラフを構築する。 レイヤーのグラフ間の類似性は、異なるデータセットでトレーニングされたモデルの表現と初期化の間の対応を識別する。 直交変換への不変性や等方性スケーリングへの不変性を含むgbsの不変性特性を実証・証明し,gbsとckaを比較した。 GBSは、類似性を反映した最先端のパフォーマンスを示し、隠れた層空間における対角的なサンプルの振る舞いを説明する洞察を提供する。

関連論文リスト

• Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks [4.235378870514331]
  グラフネットワーク(GNN)は、グラフ表現学習において支配的なアプローチとして現れている。 ニューラルネットワーク手法とカーネルアプローチのギャップを橋渡しし、GNNが学習した表現の構造を一貫してキャプチャできるようにすることで、そのギャップを埋める。 これらの知見に触発されて、GNN層間のグラフ表現の類似性の整合性は、関係構造を捕捉し、グラフ分類性能を向上させる上で重要であると推測した。
  論文  参考訳（メタデータ） (2024-10-31T09:07:08Z)
• An Ad-hoc graph node vector embedding algorithm for general knowledge graphs using Kinetica-Graph [0.0]
  本稿では,知識グラフ表現から一般的なグラフノードの埋め込みを生成する方法について論じる。 埋め込み空間は、局所親和性とリモート構造関連性の両方を模倣するいくつかのサブ機能から構成される。
  論文  参考訳（メタデータ） (2024-07-22T14:43:10Z)
• Pairwise Alignment Improves Graph Domain Adaptation [16.626928606474173]
  この研究は、グラフデータ上の分散シフトのユニークな複雑さに対処するために、グラフドメイン適応(GDA)に注力する。 本稿では,グラフ構造変化に対応する新しい理論的手法であるペアワイズアライメント(ペアワイズアライメント)を提案する。 提案手法は,ソーシャルネットワークの領域シフトを伴うノード分類を含む実世界のアプリケーションにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-02T04:31:28Z)
• SimCalib: Graph Neural Network Calibration based on Similarity between Nodes [60.92081159963772]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションで実証されたグラフデータのモデリングにおいて、優れたパフォーマンスを示している。 理論解析により,GNNキャリブレーションとノードワイド類似性の関係について考察した。 SimCalibと名付けられた新しい校正フレームワークは、グローバルレベルとローカルレベルにおけるノード間の類似性を検討するために提案されている。
  論文  参考訳（メタデータ） (2023-12-19T04:58:37Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Learning Hierarchical Graph Representation for Image Manipulation Detection [50.04902159383709]
  画像操作検出の目的は、画像内の操作された領域を特定し、特定することである。 最近のアプローチでは、画像に残っている改ざんするアーティファクトをキャプチャするために、洗練された畳み込みニューラルネットワーク(CNN)が採用されている。 本稿では2つの並列分岐からなる階層型グラフ畳み込みネットワーク(HGCN-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-15T01:54:25Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• Spectral-Spatial Global Graph Reasoning for Hyperspectral Image Classification [50.899576891296235]
  畳み込みニューラルネットワークは、ハイパースペクトル画像分類に広く応用されている。 近年の手法は空間トポロジのグラフ畳み込みによってこの問題に対処しようとしている。
  論文  参考訳（メタデータ） (2021-06-26T06:24:51Z)
• Interpretable Visualizations with Differentiating Embedding Networks [0.0]
  本稿では,新たな非教師付きシームズニューラルネットワークトレーニングシステムと損失関数に基づく,微分埋め込みネットワーク(DEN)を用いた可視化アルゴリズムを提案する。 Siameseのニューラルネットワークは、データセット内の特定のサンプルペア間の差別化や類似した特徴を見つけ、これらの特徴を使用して、データセットを視覚化可能な低次元空間に埋め込む。 DENを解釈するために、可視化の上にエンドツーエンドのパラメトリッククラスタリングアルゴリズムを作成し、次にSHAPスコアを利用して、サンプル空間のどの特徴が重要かを決定する。
  論文  参考訳（メタデータ） (2020-06-11T17:30:44Z)
• Graphon Pooling in Graph Neural Networks [169.09536309161314]
  グラフニューラルネットワーク(GNN)は、グラフによってモデル化された不規則構造上の信号の処理を含む様々なアプリケーションで効果的に使用されている。 本稿では,グラフのスペクトル特性を保存したグラフオンを用いて,GNNのプールとサンプリングを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-03T21:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。