論文の概要: Seeing Implicit Neural Representations as Fourier Series
- arxiv url: http://arxiv.org/abs/2109.00249v1
- Date: Wed, 1 Sep 2021 08:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:20:09.990687
- Title: Seeing Implicit Neural Representations as Fourier Series
- Title(参考訳): 帰納的ニューラル表現をフーリエ級数として見る
- Authors: Nuri Benbarka, Timon H\"ofer, Hamd ul-moqeet Riaz, Andreas Zell
- Abstract要約: Inlicit Neural Representation (INR)は低次元問題領域における高周波関数を表現するために多層パーセプトロンを使用する。
これらの表現は、複雑な3Dオブジェクトやシーンに関連するタスクについて、最先端の結果を得た。
この研究は2つの方法間の接続を分析し、フーリエ写像されたパーセプトロンが構造的に1つの隠蔽層SIRENと似ていることを示す。
- 参考スコア(独自算出の注目度): 13.216389226310987
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Implicit Neural Representations (INR) use multilayer perceptrons to represent
high-frequency functions in low-dimensional problem domains. Recently these
representations achieved state-of-the-art results on tasks related to complex
3D objects and scenes. A core problem is the representation of highly detailed
signals, which is tackled using networks with periodic activation functions
(SIRENs) or applying Fourier mappings to the input. This work analyzes the
connection between the two methods and shows that a Fourier mapped perceptron
is structurally like one hidden layer SIREN. Furthermore, we identify the
relationship between the previously proposed Fourier mapping and the general
d-dimensional Fourier series, leading to an integer lattice mapping. Moreover,
we modify a progressive training strategy to work on arbitrary Fourier mappings
and show that it improves the generalization of the interpolation task. Lastly,
we compare the different mappings on the image regression and novel view
synthesis tasks. We confirm the previous finding that the main contributor to
the mapping performance is the size of the embedding and standard deviation of
its elements.
- Abstract(参考訳): Inlicit Neural Representations (INR)は低次元問題領域における高周波関数を表現するために多層パーセプトロンを使用する。
最近、これらの表現は複雑な3Dオブジェクトやシーンに関連するタスクについて最先端の結果を得た。
主な問題は、周期的活性化関数(sirens)を持つネットワークや、入力にフーリエマッピングを適用することで、高度に詳細な信号を表現することである。
この研究は2つの方法間の接続を分析し、フーリエ写像されたパーセプトロンが構造的に1つの隠蔽層SIRENと似ていることを示す。
さらに、先に提案したフーリエ写像と一般d次元フーリエ級数との関係を同定し、整数格子写像を導出する。
さらに,任意のフーリエマッピングに取り組むためにプログレッシブトレーニング戦略を変更し,補間タスクの一般化を改善することを示す。
最後に,画像のレグレッションと新しいビュー合成タスクで異なるマッピングを比較した。
マッピング性能の主なコントリビュータは,要素の埋め込みと標準偏差の大きさである。
関連論文リスト
- Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。
提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。
実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-09-14T05:53:33Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳(メタデータ) (2023-09-18T11:06:42Z) - Neural Fourier Filter Bank [18.52741992605852]
本稿では, 効率的かつ高精度な再構築手法を提案する。
ウェーブレットにインスパイアされた我々は、信号が空間的にも周波数的にも分解されるニューラルネットワークを学習する。
論文 参考訳(メタデータ) (2022-12-04T03:45:08Z) - Deep Fourier Up-Sampling [100.59885545206744]
フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。
これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
論文 参考訳(メタデータ) (2022-10-11T06:17:31Z) - Fourier Disentangled Space-Time Attention for Aerial Video Recognition [54.80846279175762]
本稿では,UAVビデオ行動認識のためのFAR(Fourier Activity Recognition)アルゴリズムを提案する。
我々の定式化は、人間のエージェントを背景から自然に分離するために、新しいフーリエオブジェクト・ディコンタングルメント法を用いています。
我々はUAV Human RGB、UAV Human Night、Drone Action、NEC Droneを含む複数のUAVデータセットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-03-21T01:24:53Z) - A Fourier-based Framework for Domain Generalization [82.54650565298418]
ドメインの一般化は、複数のソースドメインから伝達可能な知識を学習して、未確認のターゲットドメインに一般化することでこの問題に対処することを目的としている。
本稿では、ドメイン一般化のための新しいフーリエに基づく視点を紹介する。
3つのベンチマーク実験により,提案手法は領域一般化のための最先端性能を実現することができることを示した。
論文 参考訳(メタデータ) (2021-05-24T06:50:30Z) - Modulated Periodic Activations for Generalizable Local Functional
Representations [113.64179351957888]
我々は,複数のインスタンスに一般化し,最先端の忠実性を実現する新しい表現を提案する。
提案手法は,画像,映像,形状の汎用的な機能表現を生成し,単一信号に最適化された先行処理よりも高い再構成品質を実現する。
論文 参考訳(メタデータ) (2021-04-08T17:59:04Z) - Fourier Image Transformer [10.315102237565734]
自動回帰画像補完タスクは,低解像度入力による高分解能出力の予測と同等であることを示した。
CT(Computerd Tomography)画像再構成の文脈において,本手法の有用性を示す。
論文 参考訳(メタデータ) (2021-04-06T14:48:57Z) - Fourier Features Let Networks Learn High Frequency Functions in Low
Dimensional Domains [69.62456877209304]
単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。
結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
論文 参考訳(メタデータ) (2020-06-18T17:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。