論文の概要: D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2403.19163v2
• Date: Fri, 11 Oct 2024 08:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:33.546786
• Title: D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations
• Title（参考訳）: D'OH: 暗黙のニューラル表現のためのデコーダ専用ランダムハイパーネット
• Authors: Cameron Gordon, Lachlan Ewen MacDonald, Hemanth Saratchandran, Simon Lucey,
• Abstract要約: Decoder-Only randomly Projected Hypernetwork (D'OH) による単一インスタンス信号に対する実行時暗黙関数の最適化戦略を提案する。 遅延コード次元を直接変更することにより、ニューラルネットワークの検索を犠牲にすることなく、ニューラル表現のメモリフットプリントを変更できる自然な方法を提供する。
• 参考スコア（独自算出の注目度）: 24.57801400001629
• License:
• Abstract: Deep implicit functions have been found to be an effective tool for efficiently encoding all manner of natural signals. Their attractiveness stems from their ability to compactly represent signals with little to no offline training data. Instead, they leverage the implicit bias of deep networks to decouple hidden redundancies within the signal. In this paper, we explore the hypothesis that additional compression can be achieved by leveraging redundancies that exist between layers. We propose to use a novel runtime decoder-only hypernetwork - that uses no offline training data - to better exploit cross-layer parameter redundancy. Previous applications of hypernetworks with deep implicit functions have employed feed-forward encoder/decoder frameworks that rely on large offline datasets that do not generalize beyond the signals they were trained on. We instead present a strategy for the optimization of runtime deep implicit functions for single-instance signals through a Decoder-Only randomly projected Hypernetwork (D'OH). By directly changing the latent code dimension, we provide a natural way to vary the memory footprint of neural representations without the costly need for neural architecture search on a space of alternative low-rate structures.
• Abstract（参考訳）: 深い暗黙の関数は、自然信号のあらゆる種類を効率的に符号化する有効なツールであることがわかった。 その魅力は、オフラインのトレーニングデータをほとんど、あるいは全く持たずに、コンパクトに信号を表現できる能力に起因している。 その代わりに、ディープネットワークの暗黙のバイアスを利用して、信号内に隠された冗長性を分離する。 本稿では,層間に存在する冗長性を利用して付加的な圧縮を実現することができるという仮説を考察する。 我々は、オフラインのトレーニングデータを使用しない、新しいランタイムデコーダのみのハイパーネットワークを使用して、クロス層パラメータの冗長性をうまく活用することを提案する。 暗黙の関数を持つハイパーネットワークの以前の応用では、トレーニングされた信号以外に一般化しない大規模なオフラインデータセットに依存するフィードフォワードエンコーダ/デコーダフレームワークが採用されていた。 代わりに,Decoder-Only randomly Projected Hypernetwork (D'OH) を用いて,単一インスタンス信号に対する実行時暗黙関数の最適化戦略を提案する。 遅延コード次元を直接変更することにより、代替の低レート構造の空間上でのニューラルネットワーク探索を必要とせずに、ニューラルネットワーク表現のメモリフットプリントを変更できる自然な方法を提供する。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Traversing Between Modes in Function Space for Fast Ensembling [15.145136272169946]
  ブリッジ」は、元のネットワークから最小限の機能を持つ軽量ネットワークであり、元のネットワークを前方通過することなく、低損失部分空間の出力を予測する。 我々は,橋梁ネットワークを実際に訓練し,橋梁ネットワークの助けを借りて推論コストを大幅に削減できることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-06-20T05:52:26Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• a novel attention-based network for fast salient object detection [14.246237737452105]
  現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。 3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。 提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
  論文  参考訳（メタデータ） (2021-12-20T12:30:20Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
  この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。 高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。 速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
  論文  参考訳（メタデータ） (2021-05-21T16:29:57Z)
• Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
  DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。 我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-18T02:30:13Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。