論文の概要: Dynamic Neural Graph Encoding of Inference Processes in Deep Weight Space
- arxiv url: http://arxiv.org/abs/2607.02166v1
- Date: Thu, 02 Jul 2026 13:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.857227
- Title: Dynamic Neural Graph Encoding of Inference Processes in Deep Weight Space
- Title(参考訳): 重み空間における推論過程の動的ニューラルグラフ符号化
- Abstract要約: 本稿では,ニューラルネットワークパラメータを表現するために動的グラフを用いた新しい手法を提案する。
提案手法は,CIFAR-100-INRにおける最先端INR分類精度を約10%上回り,複数のタスクにまたがる大幅な改善を示す。
- 参考スコア(独自算出の注目度): 39.194835904409345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancements in using neural networks as implicit data representations have attracted significant interest in developing machine learning methods that analyze and process the weight spaces of other neural networks. However, efficiently handling these highdimensional weight spaces remains challenging. Existing methods often overlook the sequential nature of layer-by-layer processing in neural network inference. In this work, we propose a novel approach using dynamic graphs to represent neural network parameters, capturing the temporal dynamics of inference. Our Dynamic Neural Graph Encoder (DNG-Encoder) processes these graphs, preserving the sequential nature of neural processing. Additionally, we also leverage DNG-Encoder to develop INR2JLS (Implicit Neural Representation to Joint Latent Space) for facilitate downstream applications, such as classifying Implicit Neural Representations (INRs). Our approach demonstrates significant improvements across multiple tasks, surpassing the state-of-the-art INR classification accuracy by approximately 10% on the CIFAR-100-INR.
- Abstract(参考訳): 暗黙的なデータ表現としてニューラルネットワークを使用することの急速な進歩は、他のニューラルネットワークの重み空間を分析し処理する機械学習手法の開発に大きな関心を集めている。
しかし、これらの高次元の重み空間を効率的に扱うことは依然として困難である。
既存の手法は、ニューラルネットワーク推論における層間処理のシーケンシャルな性質をしばしば見落としている。
本研究では,ニューラルネットワークパラメータを表現するために動的グラフを用いた新しい手法を提案する。
我々の動的ニューラルネットワークエンコーダ(DNG-Encoder)は、これらのグラフを処理し、ニューラルネットワークのシーケンシャルな性質を保存する。
さらに、DNGエンコーダを利用してINR2JLS(Implicit Neural Representation to Joint Latent Space)を開発し、インプシットニューラルネットワーク表現(INR)の分類など、下流のアプリケーションを容易にする。
提案手法は,CIFAR-100-INRにおける最先端INR分類精度を約10%上回り,複数のタスクにまたがる大幅な改善を示す。
関連論文リスト
- GALDS: A Graph-Autoencoder-based Latent Dynamics Surrogate model to predict neurite material transport [1.104960878651584]
本稿では,ニューラルツリー内の物質輸送シミュレーションを効率化するグラフオートコーダを用いたレイトタント・ダイナミクス・サロゲートモデルを提案する。
提案手法は, 最大相対誤差8%で平均相対誤差3%を達成し, 従来のサロゲートモデルに比べて10倍の速度向上を示した。
論文 参考訳(メタデータ) (2025-07-15T00:22:00Z) - Neural Symbolic Regression of Complex Network Dynamics [28.356824329954495]
そこで本研究では,物理インスパイアされたニューラルダイナミクス回帰(PI-NDSR)を用いて,力学の記号表現を自動的に学習する手法を提案する。
本手法は, 種々のダイナミックスから生成された合成データセットと, 病気の拡散に関する実際のデータセットについて検討する。
論文 参考訳(メタデータ) (2024-10-15T02:02:30Z) - Unveiling the Potential of Spiking Dynamics in Graph Representation Learning through Spatial-Temporal Normalization and Coding Strategies [15.037300421748107]
スパイキングニューラルネットワーク(SNN)は、ニューロンのエネルギー効率と事象駆動処理を再現する可能性から、かなりの関心を集めている。
本研究は,グラフ表現学習の強化におけるスパイキングダイナミクスの特質とメリットについて考察する。
スパイキングダイナミクスを取り入れたスパイクに基づくグラフニューラルネットワークモデルを提案し,新しい時空間特徴正規化(STFN)技術により強化した。
論文 参考訳(メタデータ) (2024-07-30T02:53:26Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization
in Graph Learning [9.88508686848173]
内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。
ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。
本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:20:16Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。