論文の概要: On the Internal Representations of Graph Metanetworks

• arxiv url: http://arxiv.org/abs/2503.09120v1
• Date: Wed, 12 Mar 2025 07:12:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:58.321318
• Title: On the Internal Representations of Graph Metanetworks
• Title（参考訳）: グラフメタネットの内部表現について
• Authors: Taesun Yeom, Jaeho Lee,
• Abstract要約: グラフメタネット (GMN) は, 中心核アライメント (CKA) を用いて, この分野における最先端の成果が得られることを示す。 様々な実験を通して、GMNと一般的なニューラルネットワーク(テクスタイト、多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN))が表現空間の点で異なることが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.515874333424929
• License:
• Abstract: Weight space learning is an emerging paradigm in the deep learning community. The primary goal of weight space learning is to extract informative features from a set of parameters using specially designed neural networks, often referred to as \emph{metanetworks}. However, it remains unclear how these metanetworks learn solely from parameters. To address this, we take the first step toward understanding \emph{representations} of metanetworks, specifically graph metanetworks (GMNs), which achieve state-of-the-art results in this field, using centered kernel alignment (CKA). Through various experiments, we reveal that GMNs and general neural networks (\textit{e.g.,} multi-layer perceptrons (MLPs) and convolutional neural networks (CNNs)) differ in terms of their representation space.
• Abstract（参考訳）: 重量空間学習は、ディープラーニングコミュニティにおける新たなパラダイムです。 重み空間学習の第一の目的は、特別に設計されたニューラルネットワーク(しばしば「emph{metanetworks}」と呼ばれる)を使用してパラメータの集合から情報的特徴を抽出することである。 しかし、これらのメタネットがパラメータのみからどのように学習するかは定かではない。 この問題に対処するため、我々はメタネットワーク、特にグラフメタネットワーク(GMN)の「emph{representations}」を理解するための第一歩を踏み出し、センタードカーネルアライメント(CKA)を用いて、この分野における最先端の結果を達成する。 GMN と一般ニューラルネットワーク (\textit{e g ,} 多層パーセプトロン (MLP) と畳み込みニューラルネットワーク (CNN) ) が表現空間において異なることを明らかにする。

関連論文リスト

• An Analysis Framework for Understanding Deep Neural Networks Based on Network Dynamics [11.44947569206928]
  ディープニューラルネットワーク(DNN)は、ディープ層にまたがる異なるモードのニューロンの割合を合理的に割り当てることで、情報抽出を最大化する。 このフレームワークは、"フラット・ミニマ効果(flat minima effect)"、"グロッキング(grokking)"、二重降下現象(double descend phenomena)など、基本的なDNNの振る舞いについて統一的な説明を提供する。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training [6.326396282553267]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T05:05:27Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• A Spectral Condition for Feature Learning [20.440553685976194]
  主な課題は、ネットワークの内部表現があらゆる幅で非自明に進化するようにトレーニングをスケールすることである。 特徴学習は、重みのスペクトルノルムとそれらの更新をスケーリングすることで達成されることを示す。
  論文  参考訳（メタデータ） (2023-10-26T23:17:39Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• A Practical Tutorial on Graph Neural Networks [49.919443059032226]
  グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。 このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
  論文  参考訳（メタデータ） (2020-10-11T12:36:17Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。