論文の概要: ASMR: Activation-sharing Multi-resolution Coordinate Networks For Efficient Inference
- arxiv url: http://arxiv.org/abs/2405.12398v1
- Date: Mon, 20 May 2024 22:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 14:47:55.563571
- Title: ASMR: Activation-sharing Multi-resolution Coordinate Networks For Efficient Inference
- Title（参考訳）: ASMR: 効率的な推論のための活性化共有マルチレゾリューションコーディネートネットワーク
- Authors: Jason Chun Lok Li, Steven Tin Sui Luo, Le Xu, Ngai Wong,
- Abstract要約: コーディネート・ネットワーク (Coordinate Network) または暗黙の神経表現 (INR) は、自然信号を高速に符号化する手法である。
本稿では,多分解能座標分解と階層変調を組み合わせたASMR座標ネットワークを提案する。
また,ASMRにより,バニラSIRENモデルのMACを最大500倍まで低減し,SIRENのベースラインよりも高い再現性が得られることを示す。
- 参考スコア（独自算出の注目度）: 6.005712471509875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coordinate network or implicit neural representation (INR) is a fast-emerging method for encoding natural signals (such as images and videos) with the benefits of a compact neural representation. While numerous methods have been proposed to increase the encoding capabilities of an INR, an often overlooked aspect is the inference efficiency, usually measured in multiply-accumulate (MAC) count. This is particularly critical in use cases where inference throughput is greatly limited by hardware constraints. To this end, we propose the Activation-Sharing Multi-Resolution (ASMR) coordinate network that combines multi-resolution coordinate decomposition with hierarchical modulations. Specifically, an ASMR model enables the sharing of activations across grids of the data. This largely decouples its inference cost from its depth which is directly correlated to its reconstruction capability, and renders a near O(1) inference complexity irrespective of the number of layers. Experiments show that ASMR can reduce the MAC of a vanilla SIREN model by up to 500x while achieving an even higher reconstruction quality than its SIREN baseline.
- Abstract（参考訳）: コーディネート・ネットワーク (Coordinate Network) または暗黙的ニューラル表現 (INR) は、コンパクトなニューラル表現の利点により、自然信号(画像やビデオなど)を高速に符号化する手法である。
INRの符号化能力を高めるために多くの方法が提案されているが、しばしば見過ごされる側面は推論効率であり、通常は乗算累積(MAC)数で測定される。
これは、ハードウェアの制約によって推論スループットが大幅に制限されるユースケースにおいて特に重要である。
そこで本研究では,多分解能座標分解と階層変調を組み合わせたASMR(Activation-Sharing Multi-Resolution)座標ネットワークを提案する。
具体的には、ASMRモデルはデータのグリッド間でのアクティベーションの共有を可能にする。
これにより、その推論コストは、その再設計能力と直接的に相関する深さから大きく切り離され、層数に関係なくほぼO(1)推論の複雑さが生じる。
実験により、ASMRはバニラSIRENモデルのMACを最大500倍まで低減し、SIRENのベースラインよりもさらに高い再現品質が得られることが示された。
関連論文リスト
- Single-Layer Learnable Activation for Implicit Neural Representation (SL$^{2}$A-INR) [6.572456394600755]
ニューラルネットワークを利用して、座標入力を対応する属性に変換するインプシット表現(INR)は、視覚関連領域において大きな進歩をもたらした。
SL$2$A-INR を単層学習可能なアクティベーション関数として提案し,従来の ReLU ベースの有効性を推し進める。
提案手法は,画像表現,3次元形状再構成,単一画像超解像,CT再構成,新しいビューなど,多様なタスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T02:02:15Z) - Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。
本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。
我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
論文 参考訳（メタデータ） (2023-10-09T11:26:58Z) - Multi-Dimensional Refinement Graph Convolutional Network with Robust
Decouple Loss for Fine-Grained Skeleton-Based Action Recognition [19.031036881780107]
本稿では,CVSTA(Channel-Variable Space-Temporal Attention)と呼ばれるフレキシブルアテンションブロックを提案する。
CVSTAに基づくMDR-GCN(Multi-dimensional Refinement Graph Convolutional Network)を構築し,チャネルレベル,ジョイントレベル,フレームレベルの特徴の識別を改善する。
さらに,CVSTAの効果を著しく向上し,騒音の影響を低減させるロバスト・デデュプル・ロス(RDL)を提案する。
論文 参考訳（メタデータ） (2023-06-27T09:23:36Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳（メタデータ） (2023-06-08T06:15:17Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳（メタデータ） (2021-06-16T15:56:34Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - Compute and memory efficient universal sound source separation [23.152611264259225]
汎用オーディオソース分離のための効率的なニューラルネットワークアーキテクチャのファミリーを提供します。
この畳み込みネットワークのバックボーン構造は、SuDoRM-RF(Sccessive DOwnsampling and Resampling of Multi-Resolution Features)である。
実験の結果,SuDoRM-RFモデルは相容れない性能を示し,またいくつかの最先端ベンチマークを上回る性能を示した。
論文 参考訳（メタデータ） (2021-03-03T19:16:53Z) - Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming
Networks [6.82469220191368]
高速低遅延音声強調のためのモバイル音声ストリーミングネットワーク(MASnet)を提案する。
MASnetは線形スケールのスペクトログラムを処理し、連続するノイズフレームを複素値比マスクに変換する。
論文 参考訳（メタデータ） (2020-08-17T12:18:34Z) - Deep Denoising Neural Network Assisted Compressive Channel Estimation
for mmWave Intelligent Reflecting Surfaces [99.34306447202546]
本稿では,mmWave IRSシステムに対するディープデノイングニューラルネットワークを用いた圧縮チャネル推定法を提案する。
我々はまず、受信チェーンをほとんど使わず、アップリンクのユーザ-IRSチャネルを推定するハイブリッド・パッシブ/アクティブIRSアーキテクチャを導入する。
完全チャネル行列は、圧縮センシングに基づいて限られた測定値から再構成することができる。
論文 参考訳（メタデータ） (2020-06-03T12:18:57Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。