論文の概要: FreSh: Frequency Shifting for Accelerated Neural Representation Learning
- arxiv url: http://arxiv.org/abs/2410.05050v1
- Date: Tue, 8 Oct 2024 15:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 00:38:19.122283
- Title: FreSh: Frequency Shifting for Accelerated Neural Representation Learning
- Title（参考訳）: FreSh: 高速化されたニューラル表現学習のための周波数シフト
- Authors: Adam Kania, Marko Mihajlovic, Sergey Prokudin, Jacek Tabor, Przemysław Spurek,
- Abstract要約: Inlicit Neural Representations (INR) は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして近年注目されている。
低周波の詳細は低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。
本稿では、初期出力の周波数スペクトルと目標信号の周波数スペクトルを一致させる周波数シフト(FreSh)を提案する。
- 参考スコア（独自算出の注目度）: 11.175745750843484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Implicit Neural Representations (INRs) have recently gained attention as a powerful approach for continuously representing signals such as images, videos, and 3D shapes using multilayer perceptrons (MLPs). However, MLPs are known to exhibit a low-frequency bias, limiting their ability to capture high-frequency details accurately. This limitation is typically addressed by incorporating high-frequency input embeddings or specialized activation layers. In this work, we demonstrate that these embeddings and activations are often configured with hyperparameters that perform well on average but are suboptimal for specific input signals under consideration, necessitating a costly grid search to identify optimal settings. Our key observation is that the initial frequency spectrum of an untrained model's output correlates strongly with the model's eventual performance on a given target signal. Leveraging this insight, we propose frequency shifting (or FreSh), a method that selects embedding hyperparameters to align the frequency spectrum of the model's initial output with that of the target signal. We show that this simple initialization technique improves performance across various neural representation methods and tasks, achieving results comparable to extensive hyperparameter sweeps but with only marginal computational overhead compared to training a single model with default hyperparameters.
- Abstract（参考訳）: Inlicit Neural Representation (INR)は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして最近注目を集めている。
しかし、MLPは低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。
この制限は通常、高周波入力埋め込みや特別なアクティベーション層を組み込むことによって対処される。
本研究では,これらの埋め込みやアクティベーションは,平均的によく機能するハイパーパラメータで構成されることが多いが,特定の入力信号に最適であることを示す。
我々のキーとなる観察は、訓練されていないモデルの出力の初期周波数スペクトルは、与えられた目標信号の最終的な性能と強く相関しているということである。
この知見を生かして、モデルの初期出力の周波数スペクトルとターゲット信号の周波数スペクトルを整列する埋め込みハイパーパラメータを選択する手法である周波数シフト(FreSh)を提案する。
この単純な初期化手法により、様々なニューラル表現手法やタスクのパフォーマンスが向上し、広範なハイパーパラメータスイープに匹敵する結果が得られるが、デフォルトのハイパーパラメータを持つ単一モデルのトレーニングに比べて計算オーバーヘッドが限界であることがわかった。
関連論文リスト
- Multi-scale Generative Modeling for Fast Sampling [38.570968785490514]
ウェーブレット領域では、特に高周波係数のスパース表現が独特な課題に直面している。
本稿では、低周波帯と高周波帯を扱うための異なる戦略を用いるウェーブレット領域におけるマルチスケール生成モデルを提案する。
理論的解析と実験結果により,本モデルは性能を著しく向上させ,トレーニング可能なパラメータの数,サンプリングステップ,時間を削減する。
論文 参考訳（メタデータ） (2024-11-14T11:01:45Z) - Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs [26.901819636977912]
本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。
提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-13T15:42:46Z) - On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional
Encoding [79.67071790034609]
我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。
PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。
SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
論文 参考訳（メタデータ） (2024-01-02T10:51:52Z) - FINER: Flexible spectral-bias tuning in Implicit NEural Representation
by Variable-periodic Activation Functions [40.80112550091512]
暗黙の神経表現は、信号処理の分野で革命を引き起こしている。
現在のINR技術は、サポートされた周波数セットをチューニングする制限された能力に悩まされている。
本稿では,FINERを提案する可変周期アクティベーション関数を提案する。
本研究では,FINERの2次元画像適合性,3次元符号付き距離場表現,および5次元ニューラル場放射率最適化の文脈における機能を示す。
論文 参考訳（メタデータ） (2023-12-05T02:23:41Z) - Coordinate-Aware Modulation for Neural Fields [11.844561374381575]
本稿では,ニューラルネットワークにおける合成とグリッド表現の両面を利用した新しい手法を提案する。
格子表現から抽出したスケールとシフト特徴を用いてパラメータを変調するニューラルコーディネート・アウェア・変調(CAM)を提案する。
論文 参考訳（メタデータ） (2023-11-25T10:42:51Z) - Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。
ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
論文 参考訳（メタデータ） (2023-10-01T02:01:28Z) - One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from
Electromagnetic Solvers [57.441926088870325]
Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。
本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-06T20:28:37Z) - Representing Noisy Image Without Denoising [91.73819173191076]
ラドン空間におけるフラクショナルオーダーモーメント(FMR)は、ノイズの多い画像から直接ロバストな表現を引き出すように設計されている。
従来の整数順序法とは異なり、我々の研究は特別な場合のような古典的手法を取り入れたより汎用的な設計である。
論文 参考訳（メタデータ） (2023-01-18T10:13:29Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z) - Decision Forest Based EMG Signal Classification with Low Volume Dataset
Augmented with Random Variance Gaussian Noise [51.76329821186873]
我々は6種類の手振りを限定的なサンプル数で分類できるモデルを作成し、より広い聴衆によく一般化する。
信号のランダムなバウンドの使用など、より基本的な手法のセットにアピールするが、これらの手法がオンライン環境で持てる力を示したいと考えている。
論文 参考訳（メタデータ） (2022-06-29T23:22:18Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳（メタデータ） (2021-08-03T12:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。