論文の概要: NeRN -- Learning Neural Representations for Neural Networks
- arxiv url: http://arxiv.org/abs/2212.13554v1
- Date: Tue, 27 Dec 2022 17:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 14:54:25.207369
- Title: NeRN -- Learning Neural Representations for Neural Networks
- Title（参考訳）: NeRN - ニューラルネットワークのためのニューラルネットワークの学習
- Authors: Maor Ashkenazi, Zohar Rimon, Ron Vainshtein, Shir Levi, Elad
Richardson, Pinchas Mintz, Eran Treister
- Abstract要約: ニューラルネットワークを正しく適応させると、トレーニング済みの畳み込みニューラルネットワークの重みを表現できる。
従来のニューラル表現法の入力の座標にインスパイアされ、ネットワーク内の各畳み込みカーネルに座標を割り当てる。
我々は、NeRNを用いて学習した表現の能力を実証する2つのアプリケーションを提案する。
- 参考スコア（独自算出の注目度）: 3.7384109981836153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Representations have recently been shown to effectively reconstruct a
wide range of signals from 3D meshes and shapes to images and videos. We show
that, when adapted correctly, neural representations can be used to directly
represent the weights of a pre-trained convolutional neural network, resulting
in a Neural Representation for Neural Networks (NeRN). Inspired by coordinate
inputs of previous neural representation methods, we assign a coordinate to
each convolutional kernel in our network based on its position in the
architecture, and optimize a predictor network to map coordinates to their
corresponding weights. Similarly to the spatial smoothness of visual scenes, we
show that incorporating a smoothness constraint over the original network's
weights aids NeRN towards a better reconstruction. In addition, since slight
perturbations in pre-trained model weights can result in a considerable
accuracy loss, we employ techniques from the field of knowledge distillation to
stabilize the learning process. We demonstrate the effectiveness of NeRN in
reconstructing widely used architectures on CIFAR-10, CIFAR-100, and ImageNet.
Finally, we present two applications using NeRN, demonstrating the capabilities
of the learned representations.
- Abstract（参考訳）: ニューラル表現は、3dメッシュや形状から画像やビデオに至るまで、幅広い信号を効果的に再構築することが最近示されている。
正しく適応すると、事前学習された畳み込みニューラルネットワークの重みを直接表現するためにニューラルネットワーク表現が使用され、ニューラルネットワーク(nern)のためのニューラルネットワーク表現が生成される。
従来のニューラル表現法の座標入力に触発されて,ネットワーク内の各畳み込みカーネルに,アーキテクチャ上の位置に基づいて座標を割り当て,予測器ネットワークを最適化して対応する重み付けに座標をマッピングする。
視覚シーンの空間的平滑性と同様に、元のネットワークの重み付けに滑らかさ制約を組み込むことで、より良い再構築が容易になることを示す。
また,事前学習したモデル重みのわずかな摂動は,相当な精度の損失をもたらす可能性があるため,学習過程の安定化のために知識蒸留の技法を用いる。
CIFAR-10, CIFAR-100, ImageNet上で広く使用されているアーキテクチャの再構築におけるNeRNの有効性を示す。
最後に,nernを用いた2つのアプリケーションを示し,学習表現の能力を示す。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - NeRD: Neural field-based Demosaicking [10.791425064370511]
NeRDはBayerパターンからフルカラー画像を生成するための新しいデモサック手法である。
我々は、正弦活性化機能を持つ座標ベースニューラルネットワークとして画像を表現することにより、ニューラルネットワークの進歩を活用してデシックを行う。
論文 参考訳（メタデータ） (2023-04-13T14:25:05Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳（メタデータ） (2022-11-22T06:42:41Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Neural Adaptive SCEne Tracing [24.781844909539686]
NAScenTは,ハイブリッド・明示的ニューラル表現を直接訓練した最初のニューラルレンダリング手法である。
NAScenTは、UAVが捕獲した屋外環境のような、大きくて人口の少ないボリュームを含む、困難なシーンを再構築することができる。
論文 参考訳（メタデータ） (2022-02-28T10:27:23Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。
このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
論文 参考訳（メタデータ） (2021-10-26T03:28:36Z) - Feature Alignment for Approximated Reversibility in Neural Networks [0.0]
本稿では,ニューラルネットワークにおける近似可逆性を得る手法である特徴アライメントを導入する。
ニューラルネットワークをローカルにトレーニングし、計算メモリリソースを節約するために、このテクニックを修正できることが示される。
論文 参考訳（メタデータ） (2021-06-23T17:42:47Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。