論文の概要: Joint Sampling and Optimisation for Inverse Rendering

• arxiv url: http://arxiv.org/abs/2309.15676v1
• Date: Wed, 27 Sep 2023 14:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 13:24:34.708376
• Title: Joint Sampling and Optimisation for Inverse Rendering
• Title（参考訳）: 逆レンダリングのための共同サンプリングと最適化
• Authors: Martin Balint, Karol Myszkowski, Hans-Peter Seidel, Gurprit Singh
• Abstract要約: 各イテレーションで多くの勾配サンプルを平均すると、この分散は自明に減少する。 サンプリングと最適化を相互に行う理論的枠組みを導出する。 逆経路追跡法を実装し,評価器が難解な最適化タスクの収束をいかに高速化するかを示す。
• 参考スコア（独自算出の注目度）: 24.290038684298164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When dealing with difficult inverse problems such as inverse rendering, using Monte Carlo estimated gradients to optimise parameters can slow down convergence due to variance. Averaging many gradient samples in each iteration reduces this variance trivially. However, for problems that require thousands of optimisation iterations, the computational cost of this approach rises quickly. We derive a theoretical framework for interleaving sampling and optimisation. We update and reuse past samples with low-variance finite-difference estimators that describe the change in the estimated gradients between each iteration. By combining proportional and finite-difference samples, we continuously reduce the variance of our novel gradient meta-estimators throughout the optimisation process. We investigate how our estimator interlinks with Adam and derive a stable combination. We implement our method for inverse path tracing and demonstrate how our estimator speeds up convergence on difficult optimisation tasks.
• Abstract（参考訳）: 逆レンダリングのような難しい逆問題を扱う場合、モンテカルロ推定勾配を用いてパラメータを最適化すると、分散による収束を遅くすることができる。 各イテレーションで多くの勾配サンプルを平均すると、この分散は自明に減少する。 しかし、何千もの最適化イテレーションを必要とする問題に対して、このアプローチの計算コストは急速に上昇する。 サンプリングと最適化を相互に行う理論的枠組みを導出する。 各イテレーション間の推定勾配の変化を記述した低分散有限差分推定器を用いて過去のサンプルを更新・再利用する。 比例および有限差分サンプルを組み合わせることにより、最適化過程を通じて新しい勾配メタ推定器の分散を連続的に低減する。 推定器がAdamとどのように連動し、安定した組み合わせを導出するかを考察する。 逆経路追跡法を実装し,評価器が難解な最適化タスクの収束をいかに高速化するかを示す。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [1.90365714903665]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Quantized Variational Inference [6.09170287691728]
  ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。 量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
  論文  参考訳（メタデータ） (2020-11-04T13:22:50Z)
• Incremental Without Replacement Sampling in Nonconvex Optimization [0.0]
  経験的リスクに対する最小限の分解法は、一般に近似設定で分析される。 一方、このような手法の現代的な実装は漸進的であり、それらは置換せずにサンプリングに依存しており、利用可能な分析は極めて少ない。 我々は、多変数な漸進勾配スキームを解析することにより、後者の変分に対する収束保証を提供する。
  論文  参考訳（メタデータ） (2020-07-15T09:17:29Z)
• Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks [22.618779809748435]
  既存のサンプリング手法は主にグラフ構造情報に基づいており、最適化の動的性を無視する。 最小分散のノードを適応的にサンプリングする(近似)勾配情報を利用する分離分散低減戦略を提案する。 提案手法は,小バッチサイズが小さい場合でも,より高速な収束率とより優れた一般化を必要とすることを理論的,実証的に示す。
  論文  参考訳（メタデータ） (2020-06-24T16:49:29Z)
• Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
  複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。 現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。 本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T13:23:14Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。