論文の概要: Optimal Stochastic Trace Estimation in Generative Modeling

• arxiv url: http://arxiv.org/abs/2502.18808v1
• Date: Wed, 26 Feb 2025 04:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:12.666135
• Title: Optimal Stochastic Trace Estimation in Generative Modeling
• Title（参考訳）: 生成モデルにおける最適確率的トレース推定
• Authors: Xinyang Liu, Hengrong Du, Wei Deng, Ruqi Zhang,
• Abstract要約: Hutch++は、トランスポートの最適性を維持しながら、トレーニングのばらつきを最小限に抑えるために設計された、生成モデルのための最適トレース推定器である。 私たちの分析は、Hutch++がより高品質な世代を生み出していることを示している。 本手法は, シミュレーション, 条件付き時系列予測, 画像生成など, 様々な応用において有効な分散低減効果を示す。
• 参考スコア（独自算出の注目度）: 12.098488141225012
• License:
• Abstract: Hutchinson estimators are widely employed in training divergence-based likelihoods for diffusion models to ensure optimal transport (OT) properties. However, this estimator often suffers from high variance and scalability concerns. To address these challenges, we investigate Hutch++, an optimal stochastic trace estimator for generative models, designed to minimize training variance while maintaining transport optimality. Hutch++ is particularly effective for handling ill-conditioned matrices with large condition numbers, which commonly arise when high-dimensional data exhibits a low-dimensional structure. To mitigate the need for frequent and costly QR decompositions, we propose practical schemes that balance frequency and accuracy, backed by theoretical guarantees. Our analysis demonstrates that Hutch++ leads to generations of higher quality. Furthermore, this method exhibits effective variance reduction in various applications, including simulations, conditional time series forecasts, and image generation.
• Abstract（参考訳）: ハッチンソン推定器は、最適な輸送(OT)特性を確保するために拡散モデルの発散に基づく可能性の訓練に広く用いられている。 しかし、この推定器は、しばしば高いばらつきとスケーラビリティの懸念に悩まされる。 これらの課題に対処するために,Hutch++ について検討する。Hutch++ は,輸送の最適性を維持しつつ,トレーニングのばらつきを最小限に抑えるために設計された,生成モデルのための最適確率的トレース推定器である。 Hutch++は、高次元データが低次元構造を示すときに一般的に発生する、条件付き行列を大きな条件数で扱うのに特に効果的である。 QR分解の頻度とコストの低減を図るため,理論的な保証を背景として,周波数と精度のバランスをとる実用的なスキームを提案する。 私たちの分析は、Hutch++がより高品質な世代を生み出していることを示している。 さらに, シミュレーション, 条件付き時系列予測, 画像生成など, 様々な応用に有効な分散低減効果を示す。

関連論文リスト

• Symmetry-Preserving Diffusion Models via Target Symmetrization [43.83899968118655]
  本稿では, 対称性付き損失関数を用いて等価性を強制する新しい手法を提案する。 本手法では,モンテカルロサンプリングを用いて平均値を推定し,計算オーバーヘッドを最小限に抑える。 実験では,既存の方法と比較して試料の品質が向上した。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Deep Partially Linear Transformation Model for Right-Censored Survival Data [9.991327369572819]
  本稿では,推定,推測,予測のための汎用かつ柔軟なフレームワークとして,深部部分線形変換モデル(DPLTM)を提案する。 総合シミュレーション研究は、推定精度と予測パワーの両方の観点から提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-10T15:50:43Z)
• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Multi-fidelity reduced-order surrogate modeling [5.346062841242067]
  我々は,次元削減と多要素ニューラルネットワークのサロゲートを組み合わせた新しいデータ駆動型戦略を提案する。 このサロゲート法により不安定性と過渡性の開始が良好に捉えられることを示す。
  論文  参考訳（メタデータ） (2023-09-01T08:16:53Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)
• Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
  本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。 一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
  論文  参考訳（メタデータ） (2020-03-25T03:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。