Fugu-MT 論文翻訳(概要): Preconditioners for the Stochastic Training of Neural Fields

論文の概要: Preconditioners for the Stochastic Training of Neural Fields

arxiv url: http://arxiv.org/abs/2402.08784v2
Date: Thu, 22 May 2025 23:13:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-26 18:08:33.365163
Title: Preconditioners for the Stochastic Training of Neural Fields
Title（参考訳）: ニューラルネットワークの確率的学習のためのプレコンディショナー
Authors: Shin-Fang Chng, Hemanth Saratchandran, Simon Lucey,
Abstract要約: 我々は、画像再構成、形状モデリング、ニューラルラディアンスフィールド(NeRF)といったタスクにまたがって、曲率対応の対角線前処理器を用いてニューラルネットワークを訓練するための理論的枠組みを提案する。
参考スコア（独自算出の注目度）: 28.310850948423813
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural fields encode continuous multidimensional signals as neural networks, enabling diverse applications in computer vision, robotics, and geometry. While Adam is effective for stochastic optimization, it often requires long training times. To address this, we explore alternative optimization techniques to accelerate training without sacrificing accuracy. Traditional second-order methods like L-BFGS are unsuitable for stochastic settings. We propose a theoretical framework for training neural fields with curvature-aware diagonal preconditioners, demonstrating their effectiveness across tasks such as image reconstruction, shape modeling, and Neural Radiance Fields (NeRF).
Abstract（参考訳）: ニューラルネットワークは連続多次元信号をニューラルネットワークとして符号化し、コンピュータビジョン、ロボット工学、幾何学における多様な応用を可能にする。アダムは確率的最適化に効果があるが、長い訓練時間を必要とすることが多い。そこで本研究では,精度を犠牲にすることなく,トレーニングを高速化するための代替最適化手法を提案する。 L-BFGSのような従来の二階法は確率的設定には適さない。本稿では、画像再構成、形状モデリング、ニューラルラジアンスフィールド(NeRF)などの課題にまたがって、曲率対応の対角線前処理器を用いてニューラルネットワークを訓練するための理論的枠組みを提案する。

関連論文リスト

Training Neural ODEs Using Fully Discretized Simultaneous Optimization [2.290491821371513]
ニューラルネットワークの正規微分方程式(Neural ODEs)の学習には、各エポックにおける微分方程式の解法が必要であるため、計算コストが高い。特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化にIPOPT-aソルバを用いる。この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
論文参考訳（メタデータ） (2025-02-21T18:10:26Z)
Simmering: Sufficient is better than optimal for training neural networks [0.0]
これは、ニューラルネットワークをトレーニングして、十分十分な重みとバイアスを生成する物理ベースの方法です。我々は、SimmeringがAdamが過剰に適合するニューラルネットワークを修正していることを示し、Simmeringが最初からデプロイされた場合、過適合を避けることを示す。本稿では,ニューラルネットワーク学習のパラダイムとして最適化を問うとともに,情報幾何学的議論を活用し,十分な学習アルゴリズムのクラスの存在を示唆する。
論文参考訳（メタデータ） (2024-10-25T18:02:08Z)
Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。提案手法は, 監視対象の性能を超過する。
論文参考訳（メタデータ） (2024-03-25T17:40:32Z)
Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
論文参考訳（メタデータ） (2024-01-12T21:32:04Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
論文参考訳（メタデータ） (2022-10-03T23:48:48Z)
Bayesian Optimisation-Assisted Neural Network Training Technique for Radio Localisation [3.0981875303080804]
無線信号ベースの(屋内)ローカライゼーション技術は、スマートファクトリやウェアハウスといったIoTアプリケーションにとって重要である。異なる無線プロトコルは送信信号に異なる特徴を持ち、ローカライゼーションに利用することができる。ニューラルネットワークの手法は、しばしば十分な性能を得るために、注意深く構成されたモデルと広範なトレーニングプロセスに依存している。
論文参考訳（メタデータ） (2022-03-08T11:46:41Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Hyperparameter Optimization in Binary Communication Networks for Neuromorphic Deployment [4.280642750854163]
ニューロモルフィック展開のためのニューラルネットワークのトレーニングは簡単ではない。本稿では,ニューロモルフィックハードウェアに展開可能なバイナリ通信ネットワークをトレーニングするためのアルゴリズムのハイパーパラメータを最適化するためのベイズ的手法を提案する。このアルゴリズムでは,データセット毎のハイパーパラメータを最適化することにより,データセット毎の前の最先端よりも精度が向上できることが示されている。
論文参考訳（メタデータ） (2020-04-21T01:15:45Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。