論文の概要: A Sampling Theory Perspective on Activations for Implicit Neural
Representations
- arxiv url: http://arxiv.org/abs/2402.05427v1
- Date: Thu, 8 Feb 2024 05:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:20:39.136623
- Title: A Sampling Theory Perspective on Activations for Implicit Neural
Representations
- Title(参考訳): 暗黙的神経表現のアクティベーションに関するサンプリング理論の展望
- Authors: Hemanth Saratchandran, Sameera Ramasinghe, Violetta Shevchenko,
Alexander Long, Simon Lucey
- Abstract要約: Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。
サンプリング理論の観点からこれらの活性化を包括的に分析する。
本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
- 参考スコア(独自算出の注目度): 73.6637608397055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit Neural Representations (INRs) have gained popularity for encoding
signals as compact, differentiable entities. While commonly using techniques
like Fourier positional encodings or non-traditional activation functions
(e.g., Gaussian, sinusoid, or wavelets) to capture high-frequency content,
their properties lack exploration within a unified theoretical framework.
Addressing this gap, we conduct a comprehensive analysis of these activations
from a sampling theory perspective. Our investigation reveals that sinc
activations, previously unused in conjunction with INRs, are theoretically
optimal for signal encoding. Additionally, we establish a connection between
dynamical systems and INRs, leveraging sampling theory to bridge these two
paradigms.
- Abstract(参考訳): Inlicit Neural Representations (INR)は、コンパクトで微分可能なエンティティとして信号の符号化で人気を集めている。
フーリエの位置エンコーディングや非伝統的なアクティベーション関数(例えばガウス、正弦波、ウェーブレット)のような技法が高周波コンテンツを捉えるのに一般的に用いられているが、それらの性質は統一された理論的枠組みでの探索を欠いている。
このギャップに対処し,サンプリング理論の観点からこれらのアクティベーションの包括的解析を行う。
本研究により,INRと併用しないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
さらに,この2つのパラダイムを橋渡しするためにサンプリング理論を活用し,力学系とinrsの接続を確立する。
関連論文リスト
- Training dynamics in Physics-Informed Neural Networks with feature
mapping [2.2274608188690666]
物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。
本研究では,特徴写像層を持つPINNのトレーニングダイナミクスを,共役カーネルとニューラルタンジェントカーネルの制限により検討する。
この単純な手法は、入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。
論文 参考訳(メタデータ) (2024-02-10T13:51:09Z) - Towards Training Without Depth Limits: Batch Normalization Without
Gradient Explosion [83.90492831583997]
バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。
線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。
また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
論文 参考訳(メタデータ) (2023-10-03T12:35:02Z) - Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。
ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
論文 参考訳(メタデータ) (2023-10-01T02:01:28Z) - Modality-Agnostic Variational Compression of Implicit Neural
Representations [96.35492043867104]
Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。
潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。
このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
論文 参考訳(メタデータ) (2023-01-23T15:22:42Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - A Structured Dictionary Perspective on Implicit Neural Representations [47.35227614605095]
我々は、ほとんどのINR族が、初期マッピング周波数の集合の整数調和である構造信号辞書に類似していることを示す。
経験的ニューラル・タンジェント・カーネル(NTK)に関する最近の結果を利用したINRの誘導バイアスについて検討する。
この結果から,新しいINRアーキテクチャの設計とチューニングが可能であるが,より広範な深層学習理論コミュニティにも関心が持てる。
論文 参考訳(メタデータ) (2021-12-03T14:00:52Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳(メタデータ) (2021-06-15T05:30:17Z) - Topological input-output theory for directional amplification [0.0]
指向性増幅器として機能するフォトニック駆動散逸格子の入出力関係に対する位相的アプローチを提案する。
方向増幅は量子制限に近づき、利得はシステムサイズとともに指数関数的に増加することを示す。
論文 参考訳(メタデータ) (2020-12-17T10:25:00Z) - Constant-Expansion Suffices for Compressed Sensing with Generative
Priors [26.41623833920794]
我々は、ベシッツではなく、リピート理論性の緩和された概念を満たすようなランダム関数に対する新しい一様濃度を証明した。
WDCは、この問題に関するすべての理論的保証の基本的な集中不等式であるため、我々の既知のすべての改善は、1つ、低ビットリカバリなど、先行した結果に結びついている。
論文 参考訳(メタデータ) (2020-06-07T19:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。