論文の概要: Stochastic Preconditioning for Neural Field Optimization

• arxiv url: http://arxiv.org/abs/2505.20473v1
• Date: Mon, 26 May 2025 19:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.269037
• Title: Stochastic Preconditioning for Neural Field Optimization
• Title（参考訳）: ニューラルネットワーク最適化のための確率的事前条件付け
• Authors: Selena Ling, Merlin Nimier-David, Alec Jacobson, Nicholas Sharp,
• Abstract要約: この研究は、トレーニング中に空間性を取り入れることで、ニューラルネットワークの適合が大幅に改善されることを観察する。 単純なテクニックは、カスタム設計の階層や周波数空間の構成を置き換えたり、性能を上回ったりすることができる。
• 参考スコア（独自算出の注目度）: 32.78919701189794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural fields are a highly effective representation across visual computing. This work observes that fitting these fields is greatly improved by incorporating spatial stochasticity during training, and that this simple technique can replace or even outperform custom-designed hierarchies and frequency space constructions. The approach is formalized as implicitly operating on a blurred version of the field, evaluated in-expectation by sampling with Gaussian-distributed offsets. Querying the blurred field during optimization greatly improves convergence and robustness, akin to the role of preconditioners in numerical linear algebra. This implicit, sampling-based perspective fits naturally into the neural field paradigm, comes at no additional cost, and is extremely simple to implement. We describe the basic theory of this technique, including details such as handling boundary conditions, and extending to a spatially-varying blur. Experiments demonstrate this approach on representations including coordinate MLPs, neural hashgrids, triplanes, and more, across tasks including surface reconstruction and radiance fields. In settings where custom-designed hierarchies have already been developed, stochastic preconditioning nearly matches or improves their performance with a simple and unified approach; in settings without existing hierarchies it provides an immediate boost to quality and robustness.
• Abstract（参考訳）: ニューラルネットワークは視覚コンピューティングにまたがる非常に効果的な表現である。 本研究は、これらの分野の適合性は、トレーニング中に空間確率性を取り入れることで大幅に改善され、この単純な手法は、カスタム設計の階層や周波数空間の構成を置き換えたり、さらに上回ったりすることができることを観察する。 このアプローチは、フィールドのぼやけたバージョンを暗黙的に操作するものとして形式化され、ガウス分布オフセットを用いてサンプリングすることで、観測において評価される。 最適化の間、ぼやけたフィールドを問うことは、数値線型代数におけるプレコンディショナーの役割と同様、収束とロバスト性を大幅に改善する。 この暗黙的なサンプリングベースの視点は、ニューラルネットワークのパラダイムに自然に適合し、追加のコストがかからず、実装が非常に簡単です。 本手法の基本理論は,境界条件の扱いや空間的に異なるぼかしにまで拡張などの細部を含む。 実験では、表面再構成や放射場を含むタスクにわたって、座標MLP、ニューラルハシド、トリプレーンなどの表現に対してこのアプローチを実証している。 カスタム設計の階層がすでに開発されている環境では、確率的な事前条件がほぼ一致し、単純で統一されたアプローチでパフォーマンスを改善する。

関連論文リスト

• A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
  拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。 従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。 我々はこの問題を生成的二段階最適化問題として定式化する。 従来の2段階法と拡散過程の非互換性を克服する。
  論文  参考訳（メタデータ） (2025-02-12T21:44:06Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Neural Processing of Tri-Plane Hybrid Neural Fields [20.78031512517053]
  本稿では,3面離散データ構造が,標準的な深層学習機械で効果的に処理できるリッチな情報を符号化していることを示す。 同じ再構成品質のフィールドを処理しながら、大規模表現を処理するフレームワークよりもはるかに優れたタスク性能を実現する。
  論文  参考訳（メタデータ） (2023-10-02T12:27:22Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Encoding spatiotemporal priors with VAEs for small-area estimation [2.4783465852664324]
  本稿では,新しい時間的設定に対処する深層生成モデリング手法を提案する。 可変オートエンコーダ(VAE)の事前装着による事前サンプリングのクラスを近似する。 VAEは独立に分散された潜在ガウス空間表現のため、推論を驚くほど効率的にすることができる。 ベイズ型小面積推定タスクにおけるVAE2段階アプローチの有用性を実証する。
  論文  参考訳（メタデータ） (2021-10-20T08:14:15Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Relative gradient optimization of the Jacobian term in unsupervised deep learning [9.385902422987677]
  データを正しく記述した表現的確率モデルを学習することは、機械学習におけるユビキタスな問題である。 このタスクには深度モデルが広く使用されているが、その最大可能性に基づくトレーニングでは、ジャコビアンの対数行列式を推定する必要がある。 このようなニューラルネットワークの正確なトレーニングのための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:41:08Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。