論文の概要: D'OH: Decoder-Only random Hypernetworks for Implicit Neural Representations
- arxiv url: http://arxiv.org/abs/2403.19163v1
- Date: Thu, 28 Mar 2024 06:18:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 17:12:54.317744
- Title: D'OH: Decoder-Only random Hypernetworks for Implicit Neural Representations
- Title(参考訳): D'OH: 暗黙のニューラル表現のためのデコーダ専用ランダムハイパーネット
- Authors: Cameron Gordon, Lachlan Ewen MacDonald, Hemanth Saratchandran, Simon Lucey,
- Abstract要約: 我々は,層間に存在する冗長性を利用して,付加的な圧縮を実現することができるという仮説を探求する。
オフライントレーニングデータを使用しない新しい実行時デコーダのみのハイパーネットワークを提案する。
潜在符号の次元を直接変更して対象の暗黙的ニューラルアーキテクチャを近似することにより、ニューラル表現のメモリフットプリントを変更する自然な方法を提供する。
- 参考スコア(独自算出の注目度): 24.57801400001629
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep implicit functions have been found to be an effective tool for efficiently encoding all manner of natural signals. Their attractiveness stems from their ability to compactly represent signals with little to no off-line training data. Instead, they leverage the implicit bias of deep networks to decouple hidden redundancies within the signal. In this paper, we explore the hypothesis that additional compression can be achieved by leveraging the redundancies that exist between layers. We propose to use a novel run-time decoder-only hypernetwork - that uses no offline training data - to better model this cross-layer parameter redundancy. Previous applications of hyper-networks with deep implicit functions have applied feed-forward encoder/decoder frameworks that rely on large offline datasets that do not generalize beyond the signals they were trained on. We instead present a strategy for the initialization of run-time deep implicit functions for single-instance signals through a Decoder-Only randomly projected Hypernetwork (D'OH). By directly changing the dimension of a latent code to approximate a target implicit neural architecture, we provide a natural way to vary the memory footprint of neural representations without the costly need for neural architecture search on a space of alternative low-rate structures.
- Abstract(参考訳): 深い暗黙の関数は、自然信号のあらゆる種類を効率的に符号化する有効なツールであることがわかった。
その魅力は、オフラインのトレーニングデータをほとんど、あるいは全く持たずに、コンパクトに信号を表現できる能力に起因している。
その代わりに、ディープネットワークの暗黙のバイアスを利用して、信号内に隠された冗長性を分離する。
本稿では,層間に存在する冗長性を活用することにより,付加的な圧縮を実現することができるという仮説を考察する。
我々は、この層間パラメータ冗長性をモデル化するために、新しい実行時デコーダのみのハイパーネットワーク - オフライントレーニングデータを使用しない - を使うことを提案する。
深い暗黙の関数を持つハイパーネットワークのこれまでの応用は、トレーニングされた信号以外に一般化しない大規模なオフラインデータセットに依存するフィードフォワードエンコーダ/デコーダフレームワークを適用している。
代わりに、Decoder-Only randomly Projected Hypernetwork (D'OH) を用いて、単一インスタンス信号に対する実行時の深い暗黙関数の初期化戦略を示す。
潜在符号の次元を直接変更して対象の暗黙的ニューラルアーキテクチャを近似することにより、代替の低レート構造の空間上でのニューラルアーキテクチャ探索を犠牲にすることなく、ニューラル表現のメモリフットプリントを変更する自然な方法を提供する。
関連論文リスト
- "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳(メタデータ) (2024-03-01T03:46:28Z) - Traversing Between Modes in Function Space for Fast Ensembling [15.145136272169946]
ブリッジ」は、元のネットワークから最小限の機能を持つ軽量ネットワークであり、元のネットワークを前方通過することなく、低損失部分空間の出力を予測する。
我々は,橋梁ネットワークを実際に訓練し,橋梁ネットワークの助けを借りて推論コストを大幅に削減できることを実証的に実証した。
論文 参考訳(メタデータ) (2023-06-20T05:52:26Z) - Linear Neural Network Layers Promote Learning Single- and Multiple-Index
Models [9.984696742463628]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワーク群を考察する。
この結果から,ReLUネットワークに線形層を追加することで,低ランク線形演算子で近似可能な関数を求める表現コストが得られることがわかった。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - a novel attention-based network for fast salient object detection [14.246237737452105]
現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。
3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。
提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
論文 参考訳(メタデータ) (2021-12-20T12:30:20Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T18:02:53Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Supervised Learning with First-to-Spike Decoding in Multilayer Spiking
Neural Networks [0.0]
本稿では,多層スパイキングニューラルネットワークを学習して分類問題を解くための教師あり学習手法を提案する。
提案した学習規則は、隠れニューロンが発する複数のスパイクをサポートし、決定論的出力層によって生成された最初のスパイク応答に依存することにより安定である。
また、入力データのコンパクト表現を形成するために、いくつかの異なるスパイクベースの符号化戦略についても検討する。
論文 参考訳(メタデータ) (2020-08-16T15:34:48Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳(メタデータ) (2020-03-16T16:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。