論文の概要: A Structured Dictionary Perspective on Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2112.01917v1
• Date: Fri, 3 Dec 2021 14:00:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 19:41:05.478825
• Title: A Structured Dictionary Perspective on Implicit Neural Representations
• Title（参考訳）: 暗黙的ニューラル表現に関する構造辞書の展望
• Authors: Gizem Y\"uce, Guillermo Ortiz-Jim\'enez, Beril Besbinar, Pascal Frossard
• Abstract要約: 我々は、ほとんどのINR族が、初期マッピング周波数の集合の整数調和である構造信号辞書に類似していることを示す。 経験的ニューラル・タンジェント・カーネル(NTK)に関する最近の結果を利用したINRの誘導バイアスについて検討する。 この結果から,新しいINRアーキテクチャの設計とチューニングが可能であるが,より広範な深層学習理論コミュニティにも関心が持てる。
• 参考スコア（独自算出の注目度）: 47.35227614605095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Propelled by new designs that permit to circumvent the spectral bias, implicit neural representations (INRs) have recently emerged as a promising alternative to classical discretized representations of signals. Nevertheless, despite their practical success, we still lack a proper theoretical characterization of how INRs represent signals. In this work, we aim to fill this gap, and we propose a novel unified perspective to theoretically analyse INRs. Leveraging results from harmonic analysis and deep learning theory, we show that most INR families are analogous to structured signal dictionaries whose atoms are integer harmonics of the set of initial mapping frequencies. This structure allows INRs to express signals with an exponentially increasing frequency support using a number of parameters that only grows linearly with depth. Afterwards, we explore the inductive bias of INRs exploiting recent results about the empirical neural tangent kernel (NTK). Specifically, we show that the eigenfunctions of the NTK can be seen as dictionary atoms whose inner product with the target signal determines the final performance of their reconstruction. In this regard, we reveal that meta-learning the initialization has a reshaping effect of the NTK analogous to dictionary learning, building dictionary atoms as a combination of the examples seen during meta-training. Our results permit to design and tune novel INR architectures, but can also be of interest for the wider deep learning theory community.
• Abstract（参考訳）: スペクトルバイアスを回避できる新しい設計によって、暗黙のニューラル表現(INR)が、信号の古典的な離散化表現の代替として最近登場した。 しかし、実際の成功にもかかわらず、INRの信号の表現方法に関する適切な理論的特徴はいまだに欠けている。 本研究では,このギャップを埋めることを目的として,理論解析のための統一的な視点を提案する。 高調波解析と深層学習理論から得られた結果から、ほとんどのINR族は、初期マッピング周波数の集合の整数調和性を持つ構造信号辞書に類似していることが分かる。 この構造により、INRは、深さとともに直線的にしか成長しない多くのパラメータを使用して、指数的に増加する周波数サポートを持つ信号を表現できる。 その後、経験的ニューラルネットワークカーネル(NTK)に関する最近の結果を利用して、INRの誘導バイアスについて検討する。 具体的には、NTKの固有関数を、ターゲット信号の内積がそれらの再構成の最終性能を決定する辞書原子とみなすことができる。 そこで本研究では,メタ学習の初期化は辞書学習に類似したNTKの変形効果を示し,メタ学習における例の組合せとして辞書原子を構築した。 この結果から,新しいINRアーキテクチャの設計とチューニングが可能であるが,より広範な深層学習理論コミュニティにも関心が持てる。

関連論文リスト

• Observation Noise and Initialization in Wide Neural Networks [9.163214210191814]
  任意の事前平均関数を可能にするテキストシフトネットワークを導入する。 我々の理論的な洞察は、観測ノイズとネットワークアーキテクチャの異なる値に関する実験によって実証的に検証されている。
  論文  参考訳（メタデータ） (2025-02-03T17:39:45Z)
• Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
  せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
  論文  参考訳（メタデータ） (2024-07-30T07:17:46Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks [3.6280929178575994]
  本研究では,教師付きおよび物理情報を用いたオンライン畳み込み辞書学習アルゴリズムとして利用可能な INN を構築する。 提案手法は,従来の2つのモデルに依存しない訓練法よりも改善され,深い INN と比較して競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-09T12:15:38Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。