論文の概要: Preconditioners for the Stochastic Training of Implicit Neural
Representations
- arxiv url: http://arxiv.org/abs/2402.08784v1
- Date: Tue, 13 Feb 2024 20:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:43:50.331982
- Title: Preconditioners for the Stochastic Training of Implicit Neural
Representations
- Title(参考訳): 暗黙的神経表現の確率的訓練のためのプリコンディショナー
- Authors: Shin-Fang Chng, Hemanth Saratchandran, Simon Lucey
- Abstract要約: 複雑な連続多次元信号をニューラルネットワークとして符号化する強力な手法として、暗黙の神経表現が登場した。
本稿では,様々な信号モダリティにまたがる実効性を示すために,対角プレコンディショナーを用いたトレーニングを提案する。
- 参考スコア(独自算出の注目度): 30.92757082348805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit neural representations have emerged as a powerful technique for
encoding complex continuous multidimensional signals as neural networks,
enabling a wide range of applications in computer vision, robotics, and
geometry. While Adam is commonly used for training due to its stochastic
proficiency, it entails lengthy training durations. To address this, we explore
alternative optimization techniques for accelerated training without
sacrificing accuracy. Traditional second-order optimizers like L-BFGS are
suboptimal in stochastic settings, making them unsuitable for large-scale data
sets. Instead, we propose stochastic training using curvature-aware diagonal
preconditioners, showcasing their effectiveness across various signal
modalities such as images, shape reconstruction, and Neural Radiance Fields
(NeRF).
- Abstract(参考訳): 複雑な連続多次元信号をニューラルネットワークとして符号化する強力な技術として、暗黙の神経表現が登場し、コンピュータビジョン、ロボット工学、幾何学における幅広い応用を可能にしている。
アダムは確率的な習熟度のために訓練によく使用されるが、訓練期間は長い。
そこで我々は,精度を犠牲にすることなく,加速訓練のための代替最適化手法を検討する。
L-BFGSのような従来の2階最適化は確率的な設定では最適ではないため、大規模データセットには適さない。
代わりに、曲率認識型対角線前処理器を用いた確率的トレーニングを提案し、画像、形状再構成、ニューラルラジアンス場(NeRF)などの様々な信号モダリティで有効性を示す。
関連論文リスト
- Always-Sparse Training by Growing Connections with Guided Stochastic
Exploration [46.4179239171213]
本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。
我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
論文 参考訳(メタデータ) (2024-01-12T21:32:04Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Random Weight Factorization Improves the Training of Continuous Neural
Representations [1.911678487931003]
連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。
従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。
ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
論文 参考訳(メタデータ) (2022-10-03T23:48:48Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Bayesian Optimisation-Assisted Neural Network Training Technique for
Radio Localisation [3.0981875303080804]
無線信号ベースの(屋内)ローカライゼーション技術は、スマートファクトリやウェアハウスといったIoTアプリケーションにとって重要である。
異なる無線プロトコルは送信信号に異なる特徴を持ち、ローカライゼーションに利用することができる。
ニューラルネットワークの手法は、しばしば十分な性能を得るために、注意深く構成されたモデルと広範なトレーニングプロセスに依存している。
論文 参考訳(メタデータ) (2022-03-08T11:46:41Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Hyperparameter Optimization in Binary Communication Networks for
Neuromorphic Deployment [4.280642750854163]
ニューロモルフィック展開のためのニューラルネットワークのトレーニングは簡単ではない。
本稿では,ニューロモルフィックハードウェアに展開可能なバイナリ通信ネットワークをトレーニングするためのアルゴリズムのハイパーパラメータを最適化するためのベイズ的手法を提案する。
このアルゴリズムでは,データセット毎のハイパーパラメータを最適化することにより,データセット毎の前の最先端よりも精度が向上できることが示されている。
論文 参考訳(メタデータ) (2020-04-21T01:15:45Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。