論文の概要: Signal Processing for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2210.08772v1
• Date: Mon, 17 Oct 2022 06:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:39:17.348086
• Title: Signal Processing for Implicit Neural Representations
• Title（参考訳）: 入射ニューラル表現のための信号処理
• Authors: Dejia Xu, Peihao Wang, Yifan Jiang, Zhiwen Fan, Zhangyang Wang
• Abstract要約: Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 80.38097216996164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit Neural Representations (INRs) encoding continuous multi-media data via multi-layer perceptrons has shown undebatable promise in various computer vision tasks. Despite many successful applications, editing and processing an INR remains intractable as signals are represented by latent parameters of a neural network. Existing works manipulate such continuous representations via processing on their discretized instance, which breaks down the compactness and continuous nature of INR. In this work, we present a pilot study on the question: how to directly modify an INR without explicit decoding? We answer this question by proposing an implicit neural signal processing network, dubbed INSP-Net, via differential operators on INR. Our key insight is that spatial gradients of neural networks can be computed analytically and are invariant to translation, while mathematically we show that any continuous convolution filter can be uniformly approximated by a linear combination of high-order differential operators. With these two knobs, INSP-Net instantiates the signal processing operator as a weighted composition of computational graphs corresponding to the high-order derivatives of INRs, where the weighting parameters can be data-driven learned. Based on our proposed INSP-Net, we further build the first Convolutional Neural Network (CNN) that implicitly runs on INRs, named INSP-ConvNet. Our experiments validate the expressiveness of INSP-Net and INSP-ConvNet in fitting low-level image and geometry processing kernels (e.g. blurring, deblurring, denoising, inpainting, and smoothening) as well as for high-level tasks on implicit fields such as image classification.
• Abstract（参考訳）: Inlicit Neural Representation (INR)は、多層パーセプトロンを介して連続したマルチメディアデータを符号化する。 多くのアプリケーションが成功したにもかかわらず、信号がニューラルネットワークの潜在パラメータによって表現されるため、INRの編集と処理は困難である。 既存の作業は、離散化されたインスタンスの処理を通じてそのような連続表現を操作し、INRのコンパクト性と連続性を破壊する。 本研究では、明示的な復号化なしにINRを直接修正する方法について、パイロット研究を示す。 我々は、INSP-Netと呼ばれる暗黙的なニューラルネットワーク処理ネットワークをINR上の微分演算子を介して提案することで、この問題に答える。 我々の重要な洞察は、ニューラルネットワークの空間的勾配は解析的に計算でき、変換に不変であるが、数学的には任意の連続畳み込みフィルタは高階微分作用素の線形結合によって一様に近似できることを示している。 この2つのノブを用いて、INSP-Netは信号処理演算子をINRの高階微分に対応する計算グラフの重み付け合成としてインスタンス化し、重み付けパラメータをデータ駆動学習できる。 提案したINSP-Netに基づいて,INSP-ConvNetと呼ばれる暗黙的に動作する最初の畳み込みニューラルネットワーク(CNN)を構築する。 insp-net と insp-convnet の表現性を検証し,低レベル画像および幾何処理カーネル(ぼやけ,ぼやけ,ぼやけ,デノイジング,インパインティング,スムース化など)を適合させるとともに,画像分類などの暗黙の分野における高レベルタスクについても検証した。

関連論文リスト

• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Transformers as Meta-Learners for Implicit Neural Representations [10.673855995948736]
  Inlicit Neural Representations (INRs) は近年、離散表現よりもその利点を示してきた。 InRのハイパーネットとしてTransformerを利用する定式化を提案し,INRの重みの集合を直接構築する。 本稿では,3次元オブジェクトに対する2次元画像回帰とビュー合成を含む,異なるタスクや領域でINRを構築するための手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-08-04T17:54:38Z)
• Sobolev Training for Implicit Neural Representations with Approximated Image Derivatives [12.71676484494428]
  ニューラルネットワークによってパラメータ化されたインプシットニューラルネットワーク表現(INR)は、さまざまな種類の信号を表現するための強力なツールとして登場した。 ニューラルネットワークにおける画像値に加えて、画像の微分を符号化するために、ターゲット出力が画像画素であるINRのトレーニングパラダイムを提案する。 トレーニングパラダイムをどのように活用して、典型的なINR(画像回帰と逆レンダリング)の問題を解決するかを示す。
  論文  参考訳（メタデータ） (2022-07-21T10:12:41Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
  本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。 本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
  論文  参考訳（メタデータ） (2021-03-30T13:31:11Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。