論文の概要: Preconditioners for the Stochastic Training of Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2402.08784v1
• Date: Tue, 13 Feb 2024 20:46:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 17:43:50.331982
• Title: Preconditioners for the Stochastic Training of Implicit Neural Representations
• Title（参考訳）: 暗黙的神経表現の確率的訓練のためのプリコンディショナー
• Authors: Shin-Fang Chng, Hemanth Saratchandran, Simon Lucey
• Abstract要約: 複雑な連続多次元信号をニューラルネットワークとして符号化する強力な手法として、暗黙の神経表現が登場した。 本稿では,様々な信号モダリティにまたがる実効性を示すために,対角プレコンディショナーを用いたトレーニングを提案する。
• 参考スコア（独自算出の注目度）: 30.92757082348805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representations have emerged as a powerful technique for encoding complex continuous multidimensional signals as neural networks, enabling a wide range of applications in computer vision, robotics, and geometry. While Adam is commonly used for training due to its stochastic proficiency, it entails lengthy training durations. To address this, we explore alternative optimization techniques for accelerated training without sacrificing accuracy. Traditional second-order optimizers like L-BFGS are suboptimal in stochastic settings, making them unsuitable for large-scale data sets. Instead, we propose stochastic training using curvature-aware diagonal preconditioners, showcasing their effectiveness across various signal modalities such as images, shape reconstruction, and Neural Radiance Fields (NeRF).
• Abstract（参考訳）: 複雑な連続多次元信号をニューラルネットワークとして符号化する強力な技術として、暗黙の神経表現が登場し、コンピュータビジョン、ロボット工学、幾何学における幅広い応用を可能にしている。 アダムは確率的な習熟度のために訓練によく使用されるが、訓練期間は長い。 そこで我々は,精度を犠牲にすることなく,加速訓練のための代替最適化手法を検討する。 L-BFGSのような従来の2階最適化は確率的な設定では最適ではないため、大規模データセットには適さない。 代わりに、曲率認識型対角線前処理器を用いた確率的トレーニングを提案し、画像、形状再構成、ニューラルラジアンス場(NeRF)などの様々な信号モダリティで有効性を示す。

関連論文リスト

• Simmering: Sufficient is better than optimal for training neural networks [0.0]
  これは、ニューラルネットワークをトレーニングして、十分十分な重みとバイアスを生成する物理ベースの方法です。 我々は、SimmeringがAdamが過剰に適合するニューラルネットワークを修正していることを示し、Simmeringが最初からデプロイされた場合、過適合を避けることを示す。 本稿では,ニューラルネットワーク学習のパラダイムとして最適化を問うとともに,情報幾何学的議論を活用し,十分な学習アルゴリズムのクラスの存在を示唆する。
  論文  参考訳（メタデータ） (2024-10-25T18:02:08Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
  連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
  論文  参考訳（メタデータ） (2022-10-03T23:48:48Z)
• Bayesian Optimisation-Assisted Neural Network Training Technique for Radio Localisation [3.0981875303080804]
  無線信号ベースの(屋内)ローカライゼーション技術は、スマートファクトリやウェアハウスといったIoTアプリケーションにとって重要である。 異なる無線プロトコルは送信信号に異なる特徴を持ち、ローカライゼーションに利用することができる。 ニューラルネットワークの手法は、しばしば十分な性能を得るために、注意深く構成されたモデルと広範なトレーニングプロセスに依存している。
  論文  参考訳（メタデータ） (2022-03-08T11:46:41Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Hyperparameter Optimization in Binary Communication Networks for Neuromorphic Deployment [4.280642750854163]
  ニューロモルフィック展開のためのニューラルネットワークのトレーニングは簡単ではない。 本稿では,ニューロモルフィックハードウェアに展開可能なバイナリ通信ネットワークをトレーニングするためのアルゴリズムのハイパーパラメータを最適化するためのベイズ的手法を提案する。 このアルゴリズムでは,データセット毎のハイパーパラメータを最適化することにより,データセット毎の前の最先端よりも精度が向上できることが示されている。
  論文  参考訳（メタデータ） (2020-04-21T01:15:45Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。