論文の概要: Tail Annealing for Heavy-Tailed Flow Matching

• arxiv url: http://arxiv.org/abs/2605.20068v1
• Date: Tue, 19 May 2026 16:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.518951
• Title: Tail Annealing for Heavy-Tailed Flow Matching
• Title（参考訳）: ヘビープレートフローマッチングのためのテールアニーリング
• Authors: Jean Pachebat,
• Abstract要約: リプシッツの建築はガウスのノイズからパワー・ロー・テールを生成することができず、重い尾を持つデータとガウスの補間は不十分である。 ソフトログ変換 $(x) = Mathrmsign(x) cdot log(1 + |x|)$ をトレーニング前のデータに対して座標的に適用し、生成後にサンプルを指数化する。 これは重尾を圧縮し、標準フローマッチングが成功する範囲に圧縮するが、重尾のベース分布やアーキテクチャの変更は行わない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard generative models struggle with heavy-tailed data: Lipschitz architectures cannot produce power-law tails from Gaussian noise, and interpolating between heavy-tailed data and Gaussians is ill-posed. We propose a simple fix: apply the soft-log transform $φ(x) = \mathrm{sign}(x) \cdot \log(1 + |x|)$ coordinate-wise to data before training, then exponentiate samples after generation. A Hill diagnostic decides per-coordinate whether to transform, leaving light-tailed margins untouched at no added complexity. This compresses heavy tails into a range where standard flow matching succeeds, without heavy-tailed base distributions or architectural modifications. We provide theoretical intuition for why this works: the log-transform maps Pareto tails to exponentials, and the induced dynamics implement a form of tail annealing via power transformations. On a 144-configuration multivariate benchmark (3 copulas, $d$ up to 100, 4 tail indices), Log-FM dominates specialized baselines on $W_1$, CVaR$_{99}$, and extreme-quantile metrics, and is the only method with zero severe divergences across 2{,}880 runs.
• Abstract（参考訳）: リプシッツの建築は、ガウスのノイズからパワー・ロー・テールを生成できず、ヘビー・テール・データとガウスの補間は不適切である。 ソフトログ変換 $φ(x) = \mathrm{sign}(x) \cdot \log(1 + |x|)$ をトレーニング前のデータに座標的に適用し、生成後にサンプルを指数化する。 Hill診断は、変換するかどうかを調整し、追加の複雑さを伴わずに、光尾のマージンを無傷で残す。 これは重尾を圧縮し、標準フローマッチングが成功する範囲に圧縮するが、重尾のベース分布やアーキテクチャの変更は行わない。 対数変換はパレートの尾を指数関数に写し、誘導力学はパワー変換によるテールアニーリングの形で実装する。 144-configuration multivariate benchmark (3 copulas, $d$ up to 100, 4 tail indices) では、Log-FM が W_1$, CVaR$_{99}$, extreme-quantile の特別なベースラインを支配しており、2{,}880 ランをまたいだ厳密な発散をゼロにする唯一の方法である。

関連論文リスト

• Markov Chain Decoders Overcome the Heavy-Tail Limitations of Lipschitz Generative Models [0.0]
  ヘビーテール分布は、性能評価、ネットワークトラフィック、リスクモデリングで広く利用されている。 ガウスデコーダをマルコフ連鎖に基づく位相型(PH)分布に置き換える。 PHに基づくモデルでは、テールコルモゴロフ-スミルノフ間距離を最大x6、極端量子誤差を最大x10まで削減できることを示す。
  論文  参考訳（メタデータ） (2026-05-18T14:21:46Z)
• Tail-Aware Information-Theoretic Generalization for RLHF and SGLD [5.199823655866073]
  Weibullデータに対するテール依存型情報理論フレームワークを開発した。 私たちの重要な技術的要素は、シフトlogf_$-divergenceを使って変化の期待を束縛するデレンマです。 これらのツールは、期待され高確率なPAC-Bayes一般化境界と、多スケールレニイ相互情報に基づく情報理論チェインの不等式をもたらす。
  論文  参考訳（メタデータ） (2026-04-12T17:00:41Z)
• Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
  異なる力学系間の急激な遷移は、複雑なシステムの目印である。 オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。 モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
  論文  参考訳（メタデータ） (2026-04-06T13:43:20Z)
• High-accuracy sampling for diffusion models and log-concave distributions [70.90863485771405]
  本稿では,$mathrmpolylog (1/)$のステップで$$-errorを求める拡散モデルサンプリングアルゴリズムを提案する。 我々の手法は、一般的なログ凹凸分布に対する最初の$mathrmpolylog (1/)$ complexity samplerをもたらす。
  論文  参考訳（メタデータ） (2026-02-01T17:05:31Z)
• Pathway to $O(\sqrt{d})$ Complexity bound under Wasserstein metric of flow-based models [1.724966705006084]
  We provide tools to estimates the error of flow-based generative model under the Wasserstein metric。 この誤差は、次元と独立にスケールする後方流のプッシュフォワード写像のリプシッツ性という2つの部分によって明示的に制御できることを示す。
  論文  参考訳（メタデータ） (2025-12-07T07:26:39Z)
• Scaling Laws for Gradient Descent and Sign Descent for Linear Bigram Models under Zipf's Law [4.6193503399184275]
  最近の研究は、トランスフォーマーベースの言語モデルの最初の層と最後の層を訓練する際の勾配降下による困難を浮き彫りにした。 これらの研究は、テキストデータ中の単語の重み付き分布に、難易度が関係していることを示唆している。 データが重い尾を持つ場合、問題はより困難であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T16:43:51Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。