論文の概要: Fine-Tuning Generative Models for Extreme Events via CVaR-Penalized Wasserstein Gradient Flows
- arxiv url: http://arxiv.org/abs/2608.11544v1
- Date: Wed, 12 Aug 2026 01:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.411061
- Title: Fine-Tuning Generative Models for Extreme Events via CVaR-Penalized Wasserstein Gradient Flows
- Title(参考訳): CVaR-Penalized Wasserstein Gradient Flowによる極端事象の微調整生成モデル
- Abstract要約: 本稿では,重み付き分布を学習し,極端な事象を捉えるための頑健な尾認識アルゴリズムを提案する。
CVaR-GPAは、任意の事前訓練されたモデルの出力サンプルをアーキテクチャへのアクセスなしに微調整する。
CVaR-GPAは、事前訓練されたベースライン上の重尾ターゲットのグローバルおよびテール精度を劇的に改善する。
- 参考スコア(独自算出の注目度): 7.3512309340753115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose CVaR-penalized Generative Particle Algorithm (CVaR-GPA), a robust, tail-agnostic algorithm for fine-tuning generative models to learn heavy-tailed distributions and capture extreme events, requiring no prior knowledge or estimation of the target's tail characteristics. The method is the Wasserstein gradient flow of the Lipschitz-regularized Kullback-Leibler (KL) divergence penalized by a Conditional Value-at-Risk (CVaR) discrepancy term: the Lipschitz-regularized KL divergence enables robust learning under minimal assumptions on the target distribution, while the CVaR penalty restores the velocity that otherwise vanishes prematurely in the under-sampled tails. The penalized flow admits a bounded but non-Lipschitz velocity field. This departs from the Lipschitz transport maps of standard generators, which preserve the tail behavior of a light-tailed source, and enables transport toward heavier-tailed targets. To define this flow on empirical measures, we derive the first-variation subgradients of CVaR from its Rockafellar-Uryasev representation, valid precisely where the classical density-based formula fails. The particle algorithm CVaR-GPA fine-tunes the output samples of any pre-trained model, without access to its architecture, and runs on an adaptive time horizon set by a kinetic-energy stopping criterion rather than a preset depth. On synthetic isotropic and anisotropic Student-$t$ target distributions, Neal's funnel distribution, and the real-world high-dimensional Fama-French 25 portfolio dataset, CVaR-GPA dramatically improves global and tail accuracy on heavy-tailed targets over the pre-trained baseline.
- Abstract(参考訳): 本稿では, CVaR-penalized Generative Particle Algorithm (CVaR-GPA)を提案する。
この方法は、リプシッツ規則化されたクルバック・リブラー(KL)の偏差分流を条件付き値-アット・リスク(CVaR)差分項で計算し、リプシッツ規則化されたKL偏差分流は、目標分布上の最小の仮定の下で頑健な学習を可能にする一方、CVaRのペナルティは、それ以外はアンダーサンプリングされた尾で早めに消滅する速度を復元する。
ペナル化流は、有界だが非リプシッツ速度場を持つ。
これは標準発電機のリプシッツ輸送マップから外れており、明るい尾のソースの尾の挙動を保存し、重い尾のターゲットへの輸送を可能にする。
この流れを経験的測度で定義するために、CVaRの第一変分次はRockafellar-Uryasev表現から導かれる。
粒子アルゴリズムCVaR-GPAは、任意の事前訓練されたモデルの出力サンプルをアーキテクチャへのアクセスなしに微調整し、予め設定された深さではなく運動エネルギー停止基準によって設定された適応時間地平線上で動作させる。
合成等方性と異方性のある学生-t$ターゲット分布、ニールのファンネル分布、および実世界のFama-French 25ポートフォリオデータセットについて、CVaR-GPAは、事前訓練されたベースライン上の重尾ターゲットのグローバルおよびテール精度を劇的に改善する。
関連論文リスト
- Model-Aware Schedules Improve Generation via Fiberwise Optimal Transport [1.1014388269312267]
拡散および流れマッチングスケジュールは、アフィン確率経路に沿ってデータとノイズを混合する信号と雑音係数を制御する。
ファイバーワイド最適輸送に基づくモデル認識型スケジュール構築を提案する。
我々は,予測対象,トレーニング構成,リスク推定チェックポイント,データセット,アーキテクチャ間のDDPMとフローマッチングを評価した。
論文 参考訳(メタデータ) (2026-09-10T17:30:44Z) - LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる
既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。
本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文 参考訳(メタデータ) (2026-08-06T04:47:57Z) - Heavy-Tailed Flow Matching via Random Clocks [52.78194016835051]
不均衡な画像データセット、財務リターン、気象極端など、まれな出来事が不均等な重要性を持つ多くの領域で重大データが発生する。
本稿では,ヘビーテールソースを時計条件のガウスソースの混合として表現するフレームワークであるランダムクロック(Random Clocks, HTFM)によるヘビープレートフローマッチングを提案する。
論文 参考訳(メタデータ) (2026-07-15T13:48:05Z) - FlowSDR: Sufficient Dimension Reduction via Conditional Normalizing Flows [6.1441848595952]
FlowSDRは、射影と条件密度を共同で学習する可能性に基づくフレームワークである。
ニューラル・ガウス的SDR, ヘテロセダスティックな条件付きガウス的モデルを導入し, 平均と分散は共有ニューラル・ネットワーク関数によってパラメータ化される。
論文 参考訳(メタデータ) (2026-05-31T16:54:56Z) - SURGE: Approximation and Training Free Particle Filter for Diffusion Surrogate [10.190682562038047]
本研究では,拡散モデルを用いてシステムのダイナミクスをシミュレーションし,予測する。
本研究では,騒音観測から得られる情報を組み込んで,予測されたシステム状態の継続的な修正と改善を可能にする方法について検討する。
論文 参考訳(メタデータ) (2026-05-18T17:59:00Z) - Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures [13.41132148962756]
textttURGEはデリバティブフリーな推論時間スケーリングアルゴリズムで、測定値の変更によって経路的に重要な再重み付けを行う。
我々はパスワイドSMCとパーティクルワイドSMCの等価性を確立する。
論文 参考訳(メタデータ) (2026-05-18T04:45:33Z) - Generative Modeling under Non-Monotonic MAR Missingness via Approximate Wasserstein Gradient Flows [6.221876252052772]
MAR(Missing at Random)の値を持つデータセットから完全なデータセットを生成するための原則的反復法を提案する。
FLOWGEMは、観測されたデータ分布と、異なる欠落パターンにおける生成したサンプルの分布との予測KL(Kullback-Leibler)のばらつきを最小化する。
これは、モノトニックなMARメカニズムの挑戦的なケースを含む、さまざまな設定で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-04-06T09:56:08Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳(メタデータ) (2025-10-06T17:58:01Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳(メタデータ) (2024-10-19T02:36:11Z) - Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。
本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
論文 参考訳(メタデータ) (2024-10-01T04:27:07Z) - Failures and Successes of Cross-Validation for Early-Stopped Gradient
Descent [8.0225129190882]
我々は、早期降下勾配(GD)に適用された一般クロスバリデーション(GCV)とアウトアウトクロスバリデーション(LOOCV)の統計的性質を解析する。
等方性を有する線形モデルであっても, GCV は早期停止型GD の予測リスクの予測器として不整合であることが証明された。
我々の理論はデータ分布に関する軽微な仮定しか必要とせず、根底にある回帰関数を線形とする必要はない。
論文 参考訳(メタデータ) (2024-02-26T18:07:27Z) - Lipschitz-regularized gradient flows and generative particle algorithms for high-dimensional scarce data [11.429456267375238]
我々は、潜在的に少ない高次元データから任意の目標分布を効率的に学習することのできる、新しい生成アルゴリズムのクラスを構築する。
これらの生成アルゴリズムは粒子ベースであり、Lipschitz-regularized Kullback-Leiblerなどの$f$-divergencesの勾配流として構築される。
論文 参考訳(メタデータ) (2022-10-31T11:15:48Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。