論文の概要: Using Intermediate Forward Iterates for Intermediate Generator Optimization

• arxiv url: http://arxiv.org/abs/2302.02336v1
• Date: Sun, 5 Feb 2023 08:46:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 18:42:57.278995
• Title: Using Intermediate Forward Iterates for Intermediate Generator Optimization
• Title（参考訳）: 中間フォワードイテレートを用いた中間発電機最適化
• Authors: Harsh Mishra, Jurijs Nazarovs, Manmohan Dogra, Sathya N. Ravi
• Abstract要約: 中間ジェネレータ最適化は、生成タスクのための任意の標準オートエンコーダパイプラインに組み込むことができる。 IGOの2つの密集予測タスク(viz.)、画像外挿、点雲デノイング(denoising)に対する応用を示す。
• 参考スコア（独自算出の注目度）: 14.987013151525368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based models have recently been introduced as a richer framework to model distributions in high dimensions and are generally more suitable for generative tasks. In score-based models, a generative task is formulated using a parametric model (such as a neural network) to directly learn the gradient of such high dimensional distributions, instead of the density functions themselves, as is done traditionally. From the mathematical point of view, such gradient information can be utilized in reverse by stochastic sampling to generate diverse samples. However, from a computational perspective, existing score-based models can be efficiently trained only if the forward or the corruption process can be computed in closed form. By using the relationship between the process and layers in a feed-forward network, we derive a backpropagation-based procedure which we call Intermediate Generator Optimization to utilize intermediate iterates of the process with negligible computational overhead. The main advantage of IGO is that it can be incorporated into any standard autoencoder pipeline for the generative task. We analyze the sample complexity properties of IGO to solve downstream tasks like Generative PCA. We show applications of the IGO on two dense predictive tasks viz., image extrapolation, and point cloud denoising. Our experiments indicate that obtaining an ensemble of generators for various time points is possible using first-order methods.
• Abstract（参考訳）: スコアベースのモデルは、最近、高次元の分布をモデル化するためのよりリッチなフレームワークとして導入された。 スコアベースモデルでは、生成タスクをパラメトリックモデル(ニューラルネットワークなど)を用いて定式化し、従来のように密度関数自身ではなく、そのような高次元分布の勾配を直接学習する。 数学的観点から、このような勾配情報は確率的サンプリングによって逆向きに利用でき、多様なサンプルを生成することができる。 しかし、計算の観点からは、既存のスコアベースのモデルは、フォワードまたは汚職プロセスがクローズド形式で計算できる場合に限り、効率的に訓練することができる。 フィードフォワードネットワークにおけるプロセスとレイヤの関係を用いることで、中間生成器最適化と呼ばれるバックプロパゲーションに基づく手順を導出し、計算オーバーヘッドを無視できるプロセスの中間イテレートを利用する。 IGOの主な利点は、生成タスクのための標準的なオートエンコーダパイプラインに組み込むことができることである。 我々は、IGOのサンプル複雑性特性を分析し、生成PCAのような下流タスクを解決する。 我々は,igo の2つの濃密な予測タスク viz.,イメージ外挿,ポイントクラウドデノイジングに対する応用例を示す。 本実験は,一階法を用いて様々な時点のジェネレータのアンサンブルを得ることが可能であることを示唆する。

関連論文リスト

• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T10:26:29Z)
• Neural Inverse Transform Sampler [4.061135251278187]
  ニューラルネットワークを用いて条件密度をモデル化する場合、$Z$を正確に効率的に計算できることが示される。 textbfNeural Inverse Transform Sampler (NITS)は,汎用的,多次元,コンパクトに支持された確率密度のモデリングとサンプリングのための新しいディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2022-06-22T15:28:29Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Forward Operator Estimation in Generative Models with Kernel Transfer Operators [37.999297683250575]
  本定式化により,高効率な分布近似とサンプリングが可能となり,驚くほど優れた実験性能が得られることを示す。 また、このアルゴリズムは小さなサンプルサイズ設定(脳画像)でも良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-12-01T06:54:31Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。