論文の概要: Zero Grads: Learning Local Surrogate Losses for Non-Differentiable Graphics

• arxiv url: http://arxiv.org/abs/2308.05739v2
• Date: Tue, 7 May 2024 14:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 20:23:22.718987
• Title: Zero Grads: Learning Local Surrogate Losses for Non-Differentiable Graphics
• Title（参考訳）: Zero Grads: 微分不可能なグラフィクスのための局所サロゲート損失の学習
• Authors: Michael Fischer, Tobias Ritschel,
• Abstract要約: 未定義あるいはゼロの勾配に対して、グラフィックを自動的に最適化する方法を示す。 このフィッティングはパラメータ最適化とともにオンラインで行われ、事前計算されたデータや事前訓練されたモデルなしで自己教師される。 他のアルゴリズムとは対照的に、我々のアプローチはより高次元にスケールし、最大35k変数の問題を実演する。
• 参考スコア（独自算出の注目度）: 13.558059987555234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based optimization is now ubiquitous across graphics, but unfortunately can not be applied to problems with undefined or zero gradients. To circumvent this issue, the loss function can be manually replaced by a ``surrogate'' that has similar minima but is differentiable. Our proposed framework, ZeroGrads, automates this process by learning a neural approximation of the objective function, which in turn can be used to differentiate through arbitrary black-box graphics pipelines. We train the surrogate on an actively smoothed version of the objective and encourage locality, focusing the surrogate's capacity on what matters at the current training episode. The fitting is performed online, alongside the parameter optimization, and self-supervised, without pre-computed data or pre-trained models. As sampling the objective is expensive (it requires a full rendering or simulator run), we devise an efficient sampling scheme that allows for tractable run-times and competitive performance at little overhead. We demonstrate optimizing diverse non-convex, non-differentiable black-box problems in graphics, such as visibility in rendering, discrete parameter spaces in procedural modelling or optimal control in physics-driven animation. In contrast to other derivative-free algorithms, our approach scales well to higher dimensions, which we demonstrate on problems with up to 35k interlinked variables.
• Abstract（参考訳）: グラディエントベースの最適化は現在、グラフィックス全体にわたって至るところで行われているが、不幸にも未定義やゼロ勾配の問題には適用できない。 この問題を回避するために、損失関数は手動で、類似のミニマを持つが微分可能な '`surrogate'' に置き換えることができる。 提案するフレームワークであるZeroGradsは,対象関数の神経近似を学習することで,このプロセスを自動化する。 目的の積極的に円滑なバージョンでサロゲートを訓練し、局所性を奨励し、サロゲートの能力が現在のトレーニングエピソードで重要なものに集中する。 このフィッティングはパラメータ最適化とともにオンラインで行われ、事前計算されたデータや事前訓練されたモデルなしで自己教師される。 対象のサンプリングはコストがかかるため(フルレンダリングやシミュレータ実行が必要)、トラクタブルな実行時間と競争性能を少ないオーバーヘッドで実現可能な効率的なサンプリングスキームを考案する。 本稿では、レンダリングの可視性、手続き型モデリングにおける離散パラメータ空間、物理駆動型アニメーションにおける最適制御など、グラフィックスにおける様々な非凸・非微分可能なブラックボックス問題を最適化する。 他の微分自由アルゴリズムとは対照的に、我々の手法はより高次元にスケールし、最大35kの相互結合変数の問題を実演する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Target-based Surrogates for Stochastic Optimization [26.35752393302125]
  我々は(おそらく)勾配を計算するのに費用がかかる関数の最小化を考える。 このような機能は、計算強化学習、模倣学習、および敵の訓練で広く用いられている。 我々のフレームワークは、最適化アルゴリズムを用いて、効率的に最小化できるサロゲートを構築することができる。
  論文  参考訳（メタデータ） (2023-02-06T08:08:34Z)
• Plateau-reduced Differentiable Path Tracing [18.174063717952187]
  対象関数において、逆レンダリングは、固有な高原、すなわちゼロ勾配の領域によって収束しないことが示される。 パラメータ空間を曖昧にする余分なカーネルを持つ画像にパラメータをマッピングする高次元レンダリング関数を展開させることにより、この問題を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:58:53Z)
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
  既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:51Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。