論文の概要: H-SIREN: Improving implicit neural representations with hyperbolic periodic functions
- arxiv url: http://arxiv.org/abs/2410.04716v1
- Date: Mon, 7 Oct 2024 03:13:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 02:27:38.535917
- Title: H-SIREN: Improving implicit neural representations with hyperbolic periodic functions
- Title(参考訳): H-SIREN:双曲周期関数による暗黙的神経表現の改善
- Authors: Rui Gao, Rajeev K. Jaiman,
- Abstract要約: 入射神経表現(INR)は、コンピュータビジョンタスクから偏微分方程式の解法による物理シミュレーションまで、様々な用途で最近採用されている。
我々はH-SIRENを様々なコンピュータビジョンと流体流問題で実証し、いくつかの最先端INRの性能を上回った。
- 参考スコア(独自算出の注目度): 11.484248655945752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Implicit neural representations (INR) have been recently adopted in various applications ranging from computer vision tasks to physics simulations by solving partial differential equations. Among existing INR-based works, multi-layer perceptrons with sinusoidal activation functions find widespread applications and are also frequently treated as a baseline for the development of better activation functions for INR applications. Recent investigations claim that the use of sinusoidal activation functions could be sub-optimal due to their limited supported frequency set as well as their tendency to generate over-smoothed solutions. We provide a simple solution to mitigate such an issue by changing the activation function at the first layer from $\sin(x)$ to $\sin(\sinh(2x))$. We demonstrate H-SIREN in various computer vision and fluid flow problems, where it surpasses the performance of several state-of-the-art INRs.
- Abstract(参考訳): 入射神経表現(INR)は、コンピュータビジョンタスクから偏微分方程式の解法による物理シミュレーションまで、様々な用途で最近採用されている。
既存のINRベースの研究の中で、正弦波活性化関数を持つ多層パーセプトロンは広く応用され、またINRアプリケーションのためのより良いアクティベーション関数の開発のためのベースラインとして頻繁に扱われる。
近年の研究では、正弦波活性化関数の使用は、サポート周波数が制限されたことと、過度に滑らかな解を生成する傾向があるため、準最適であると主張している。
第一層の活性化関数を $\sin(x)$ から $\sin(\sinh(2x))$ に変更することで、そのような問題を緩和する簡単な解決策を提供する。
我々はH-SIRENを様々なコンピュータビジョンと流体流問題で実証し、いくつかの最先端INRの性能を上回った。
関連論文リスト
- Single-Layer Learnable Activation for Implicit Neural Representation (SL$^{2}$A-INR) [6.572456394600755]
ニューラルネットワークを利用して、座標入力を対応する属性に変換するインプシット表現(INR)は、視覚関連領域において大きな進歩をもたらした。
SL$2$A-INR を単層学習可能なアクティベーション関数として提案し,従来の ReLU ベースの有効性を推し進める。
提案手法は,画像表現,3次元形状再構成,単一画像超解像,CT再構成,新しいビューなど,多様なタスクに優れる。
論文 参考訳(メタデータ) (2024-09-17T02:02:15Z) - FINER++: Building a Family of Variable-periodic Functions for Activating Implicit Neural Representation [39.116375158815515]
Inlicit Neural Representation (INR)は、信号処理の分野で革命を引き起こしている。
INR技術は「周波数」特定スペクトルバイアスとキャパシティ・コンバージェンスギャップに悩まされる。
既存の周期的/非周期的アクティベーション関数を可変周期的関数に拡張することにより、FINER++フレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-28T09:24:57Z) - ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。
2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。
我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
論文 参考訳(メタデータ) (2024-06-04T17:51:08Z) - FINER: Flexible spectral-bias tuning in Implicit NEural Representation
by Variable-periodic Activation Functions [40.80112550091512]
暗黙の神経表現は、信号処理の分野で革命を引き起こしている。
現在のINR技術は、サポートされた周波数セットをチューニングする制限された能力に悩まされている。
本稿では,FINERを提案する可変周期アクティベーション関数を提案する。
本研究では,FINERの2次元画像適合性,3次元符号付き距離場表現,および5次元ニューラル場放射率最適化の文脈における機能を示す。
論文 参考訳(メタデータ) (2023-12-05T02:23:41Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳(メタデータ) (2023-02-20T19:36:52Z) - WIRE: Wavelet Implicit Neural Representations [42.147899723673596]
Inlicit Neural representations (INRs) は近年多くの視覚関連領域を進歩させている。
現在のINRは高い精度で設計されているが、ロバスト性も劣っている。
我々は、このトレードオフを示さない新しい、非常に正確で堅牢なINRを開発します。
論文 参考訳(メタデータ) (2023-01-05T20:24:56Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳(メタデータ) (2022-11-28T09:57:15Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。