論文の概要: Implicit Neural Representations with Periodic Activation Functions

• arxiv url: http://arxiv.org/abs/2006.09661v1
• Date: Wed, 17 Jun 2020 05:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 20:36:12.149540
• Title: Implicit Neural Representations with Periodic Activation Functions
• Title（参考訳）: 周期的活性化機能を持つ暗黙的ニューラル表現
• Authors: Vincent Sitzmann, Julien N. P. Martel, Alexander W. Bergman, David B. Lindell, Gordon Wetzstein
• Abstract要約: ニューラルネットワークによってパラメータ化される暗黙的に定義された、連続的な、微分可能な信号表現は、強力なパラダイムとして現れている。 暗黙的なニューラル表現に周期的アクティベーション関数を活用することを提案し、これらのネットワークは正弦波表現ネットワークまたはサイレンと呼ばれ、複雑な自然信号とその誘導体を表現するのに理想的であることを示す。 我々は、シリンズがどのようにして、特定のアイコン方程式、ポアソン方程式、ヘルムホルツ方程式や波動方程式などの挑戦的な境界値問題を解くことができるかを示す。
• 参考スコア（独自算出の注目度）: 109.2353097792111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or Sirens, are ideally suited for representing complex natural signals and their derivatives. We analyze Siren activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how Sirens can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine Sirens with hypernetworks to learn priors over the space of Siren functions.
• Abstract（参考訳）: ニューラルネットワークによってパラメータ化される暗黙的に定義された、連続的な、微分可能な信号表現は、従来の表現よりも多くの利点を提供する強力なパラダイムとして現れてきた。 しかし、このような暗黙的神経表現のための現在のネットワークアーキテクチャは、偏微分方程式の解として暗黙的に定義される多くの物理信号に必須であるにもかかわらず、詳細な信号のモデル化が不可能であり、信号の空間的および時間的微分を表現できない。 また,これらのネットワークを正弦波表現ネットワーク(sirens)と呼び,複雑な自然信号とその導関数を表現するのに理想的に適していることを示す。 サイレンの活性化統計を分析し,原理的な初期化スキームを提案し,画像,波動場,映像,音声,それらの導関数の表現を示す。 さらに,特定の固有方程式(符号付き距離関数)やポアソン方程式,ヘルムホルツ方程式や波動方程式など,境界値問題を解くためにサイレンをどのように利用できるかを示す。 最後に、サイレン関数の空間で事前学習するためにサイレンとハイパーネットワークを組み合わせる。

関連論文リスト

• Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent [8.347295051171525]
  勾配ノイズは、退化方向に沿ってパラメータ$theta$の体系的な相互作用を、一意に依存しない固定点$theta*$へと生成することを示す。 これらの点をノイズ平衡(it noise equilibria)と呼ぶのは、これらの点において、異なる方向からのノイズ寄与がバランスと整合性を持つためである。 勾配雑音のバランスとアライメントは、ニューラルネットワーク内でのプログレッシブ・シャープニング/フラット化や表現形成といった重要な現象を説明するための新しいメカニズムとして機能することを示す。
  論文  参考訳（メタデータ） (2024-02-11T13:00:04Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• Wave Physics-informed Matrix Factorizations [8.64018020390058]
  物理媒体を介して伝播する信号を含む多くの応用において、信号の力学は波動方程式によって課される制約を満たす必要がある。 本稿では,力学信号を和和に分解する行列分解法を提案する。 信号処理におけるウェーブラーニングとフィルタリング理論の理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-12-21T05:27:16Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
  Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。 ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
  論文  参考訳（メタデータ） (2023-10-01T02:01:28Z)
• Harmonic (Quantum) Neural Networks [10.31053131199922]
  調和函数は自然界において豊富であり、マクスウェル方程式、ナヴィエ・ストークス方程式、熱、波動方程式の極限に現れる。 ユビキタスさと妥当性にもかかわらず、機械学習の文脈で高調波関数に対する帰納バイアスを組み込む試みは、ほとんどない。 ニューラルネットワークにおける調和関数の効率的な表現方法を示し、その結果を量子ニューラルネットワークに拡張する。
  論文  参考訳（メタデータ） (2022-12-14T19:13:59Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。