論文の概要: A Sampling Theory Perspective on Activations for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2402.05427v1
• Date: Thu, 8 Feb 2024 05:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:20:39.136623
• Title: A Sampling Theory Perspective on Activations for Implicit Neural Representations
• Title（参考訳）: 暗黙的神経表現のアクティベーションに関するサンプリング理論の展望
• Authors: Hemanth Saratchandran, Sameera Ramasinghe, Violetta Shevchenko, Alexander Long, Simon Lucey
• Abstract要約: Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
• 参考スコア（独自算出の注目度）: 73.6637608397055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit Neural Representations (INRs) have gained popularity for encoding signals as compact, differentiable entities. While commonly using techniques like Fourier positional encodings or non-traditional activation functions (e.g., Gaussian, sinusoid, or wavelets) to capture high-frequency content, their properties lack exploration within a unified theoretical framework. Addressing this gap, we conduct a comprehensive analysis of these activations from a sampling theory perspective. Our investigation reveals that sinc activations, previously unused in conjunction with INRs, are theoretically optimal for signal encoding. Additionally, we establish a connection between dynamical systems and INRs, leveraging sampling theory to bridge these two paradigms.
• Abstract（参考訳）: Inlicit Neural Representations (INR)は、コンパクトで微分可能なエンティティとして信号の符号化で人気を集めている。 フーリエの位置エンコーディングや非伝統的なアクティベーション関数(例えばガウス、正弦波、ウェーブレット)のような技法が高周波コンテンツを捉えるのに一般的に用いられているが、それらの性質は統一された理論的枠組みでの探索を欠いている。 このギャップに対処し,サンプリング理論の観点からこれらのアクティベーションの包括的解析を行う。 本研究により,INRと併用しないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。 さらに,この2つのパラダイムを橋渡しするためにサンプリング理論を活用し,力学系とinrsの接続を確立する。

関連論文リスト

• Exploring the Low-Pass Filtering Behavior in Image Super-Resolution [13.841859411005737]
  本稿では,画像超解像におけるディープニューラルネットワークの挙動の解釈を試みる。 ISRタスクにおけるニューラルネットワークの動作を分析するために,Hybrid Response Analysis (HyRA) という手法を提案する。 最後に、注入された高周波情報を定量化するために、周波数スペクトル分布類似性(FSDS)と呼ばれる画像から画像へのタスクのメトリクスを導入する。
  論文  参考訳（メタデータ） (2024-05-13T16:50:42Z)
• Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion [12.935592400092712]
  Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。 INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。 本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
  論文  参考訳（メタデータ） (2024-04-23T16:14:20Z)
• Theoretical Bound-Guided Hierarchical VAE for Neural Image Codecs [11.729071258457138]
  近年の研究では、変分オートエンコーダ(VAE)と速度歪み理論の間に有意な関係があることが示されている。 VAEは画像の情報レート歪み関数の理論上界を推定する。 このギャップを狭めるために,ニューラルネットワークのための理論的境界誘導型階層型VAE(BG-VAE)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:11:34Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
  Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。 ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
  論文  参考訳（メタデータ） (2023-10-01T02:01:28Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• A Structured Dictionary Perspective on Implicit Neural Representations [47.35227614605095]
  我々は、ほとんどのINR族が、初期マッピング周波数の集合の整数調和である構造信号辞書に類似していることを示す。 経験的ニューラル・タンジェント・カーネル(NTK)に関する最近の結果を利用したINRの誘導バイアスについて検討する。 この結果から,新しいINRアーキテクチャの設計とチューニングが可能であるが,より広範な深層学習理論コミュニティにも関心が持てる。
  論文  参考訳（メタデータ） (2021-12-03T14:00:52Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。