論文の概要: Model Metamers Reveal Invariances in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2510.17378v1
• Date: Mon, 20 Oct 2025 10:13:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.400018
• Title: Model Metamers Reveal Invariances in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるモデルメタメトリの不変性
• Authors: Wei Xu, Xiaoyi Jiang, Lixiang Xu, Dechao Tang,
• Abstract要約: 近年、深層ニューラルネットワークは知覚システムにおいて、不変性に起因する表現を学習するために広く利用されている。 これらのネットワークは、人間の脳で観察される不変性のメカニズムをエミュレートすることを目的としている。 しかし、視覚領域と聴覚領域の研究により、人工ニューラルネットワークと人間の不変性の間に大きなギャップが残っていることが確認されている。
• 参考スコア（独自算出の注目度）: 8.901234530419387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, deep neural networks have been extensively employed in perceptual systems to learn representations endowed with invariances, aiming to emulate the invariance mechanisms observed in the human brain. However, studies in the visual and auditory domains have confirmed that significant gaps remain between the invariance properties of artificial neural networks and those of humans. To investigate the invariance behavior within graph neural networks (GNNs), we introduce a model ``metamers'' generation technique. By optimizing input graphs such that their internal node activations match those of a reference graph, we obtain graphs that are equivalent in the model's representation space, yet differ significantly in both structure and node features. Our theoretical analysis focuses on two aspects: the local metamer dimension for a single node and the activation-induced volume change of the metamer manifold. Utilizing this approach, we uncover extreme levels of representational invariance across several classic GNN architectures. Although targeted modifications to model architecture and training strategies can partially mitigate this excessive invariance, they fail to fundamentally bridge the gap to human-like invariance. Finally, we quantify the deviation between metamer graphs and their original counterparts, revealing unique failure modes of current GNNs and providing a complementary benchmark for model evaluation.
• Abstract（参考訳）: 近年、深層ニューラルネットワークは知覚システムにおいて、人間の脳で観察される不変性のメカニズムをエミュレートすることを目的として、不変性による表現を学習するために広く利用されている。 しかし、視覚領域と聴覚領域の研究により、人工ニューラルネットワークと人間の不変性の間に大きなギャップが残っていることが確認されている。 グラフニューラルネットワーク(GNN)における不変性を調べるために,モデル `<metamers' の生成手法を提案する。 入力グラフを最適化することにより、内部ノードのアクティベーションが参照グラフのアクティベーションと一致するようにすることで、モデルの表現空間で等価であるが、構造とノードの特徴の両方で大きく異なるグラフを得る。 理論解析は, 単一ノードの局所メタマー次元と, メタマー多様体の活性化誘起体積変化の2つの側面に焦点をあてる。 このアプローチを用いることで、いくつかの古典的GNNアーキテクチャにおける表現不変性の極端なレベルを明らかにする。 モデルアーキテクチャやトレーニング戦略のターゲットとなる変更は、この過度な不変性を部分的に軽減することができるが、人間のような不変性へのギャップを根本的に埋めることはできない。 最後に、メタマーグラフと元のグラフとのずれを定量化し、現在のGNNの独自の障害モードを明らかにし、モデル評価のための補完的なベンチマークを提供する。

関連論文リスト

• Overlap-aware meta-learning attention to enhance hypergraph neural networks for node classification [7.822666400307049]
  ハイパーグラフニューラルネットワーク(OMA-HGNN)のための新しいフレームワークを提案する。 まず、構造的類似性と特徴的類似性の両方を統合するハイパーグラフアテンション機構を導入し、特に、それぞれの損失をHGNNモデルの重み付け要素と線形に結合する。 第2に,ノードを様々な重複レベルに基づいて異なるタスクに分割し,対応する重み付け因子を決定するマルチタスク・メタウェイト・ネット(MWN)を開発する。 第3に、内部MWNモデルを外部HGNNモデルからの損失で共同訓練し、重み付き因子で外部モデルを訓練する。
  論文  参考訳（メタデータ） (2025-03-11T01:38:39Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous Graph Diffusion Functionals [7.6435511285856865]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。 GNNのローカリティ仮定は、グラフ内の長距離依存関係とグローバルパターンをキャプチャする能力を損なう。 本稿では,ブラヒクロニスト問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
  論文  参考訳（メタデータ） (2023-07-01T04:44:43Z)
• On the Prediction Instability of Graph Neural Networks [2.3605348648054463]
  トレーニングされたモデルの不安定性は、マシンラーニングシステムの信頼性、信頼性、信頼性に影響を与える可能性がある。 最新のグラフニューラルネットワーク(GNN)によるノード分類の不安定性の予測を系統的に評価する。 不正に分類されたノードの最大3分の1は、アルゴリズムの実行によって異なることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T10:32:59Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。