論文の概要: Preconditioned Score and Flow Matching

• arxiv url: http://arxiv.org/abs/2603.02337v1
• Date: Mon, 02 Mar 2026 19:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.518557
• Title: Preconditioned Score and Flow Matching
• Title（参考訳）: 事前条件付きスコアとフローマッチング
• Authors: Shadab Ahamed, Eshed Gal, Simon Ghyselincks, Md Shahriar Rahim Siddiqui, Moshe Eliasof, Eldad Haber,
• Abstract要約: 共分散 $_t$ of $p_t$ が最適化バイアスを支配していることを示す。 我々は、$p_t$の幾何学を再構成する可逆的でラベル条件付きエンプレコンディショニングマップを提案する。 プレコンディショニングは最適下高原を避けることによって、より優れたトレーニングモデルが得られることを示す。
• 参考スコア（独自算出の注目度）: 15.378063594292955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow matching and score-based diffusion train vector fields under intermediate distributions $p_t$, whose geometry can strongly affect their optimization. We show that the covariance $Σ_t$ of $p_t$ governs optimization bias: when $Σ_t$ is ill-conditioned, and gradient-based training rapidly fits high-variance directions while systematically under-optimizing low-variance modes, leading to learning that plateaus at suboptimal weights. We formalize this effect in analytically tractable settings and propose reversible, label-conditional \emph{preconditioning} maps that reshape the geometry of $p_t$ by improving the conditioning of $Σ_t$ without altering the underlying generative model. Rather than accelerating early convergence, preconditioning primarily mitigates optimization stagnation by enabling continued progress along previously suppressed directions. Across MNIST latent flow matching, and additional high-resolution datasets, we empirically track conditioning diagnostics and distributional metrics and show that preconditioning consistently yields better-trained models by avoiding suboptimal plateaus.
• Abstract（参考訳）: 中間分布$p_t$のフローマッチングとスコアベース拡散トレインベクトル場は、その幾何学が最適化に強く影響を与える。 共分散 $Σ_t$ of $p_t$ が最適化バイアスを支配していることを示す。 解析的に抽出可能な設定でこの効果を定式化し、基本生成モデルを変更することなく$Σ_t$の条件付けを改善することにより、$p_t$の幾何を再構成する可逆なラベル条件付き \emph{preconditioning} マップを提案する。 早期収束を加速する代わりに、事前条件付けは、前もって抑制された方向に沿って継続的な進行を可能にすることにより、最適化の停滞を緩和する。 MNIST潜水流マッチングや高分解能データセットの他、条件付け診断や分布指標を実証的に追跡し、最適下高原を避けることにより、プレコンディショニングが一貫した訓練されたモデルが得られることを示す。

関連論文リスト

• Trajectory Consistency for One-Step Generation on Euler Mean Flows [24.038760671907024]
  本研究では,フローベース生成フレームワークであるemphEuler Mean Flows (EMF)を提案する。 EMFは最小サンプリングコストで長距離軌道の整合性を実現する。
  論文  参考訳（メタデータ） (2026-01-31T04:32:32Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• SAPPHIRE: Preconditioned Stochastic Variance Reduction for Faster Large-Scale Statistical Learning [18.055120576191204]
  Ill-conditioned objectives and nonsmooth regularizers under the performance of traditional convex method。 本研究では,不条件な複合型大規模機械学習問題に対する分散自由解を提案する。
  論文  参考訳（メタデータ） (2025-01-27T10:36:45Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Gradient Guidance for Diffusion Models: An Optimization Perspective [45.6080199096424]
  本稿では,ユーザ特定目的の最適化に向けて,事前学習した拡散モデルを適用するための勾配ガイダンスの形式について検討する。 我々は,その最適化理論とアルゴリズム設計を体系的に研究するために,誘導拡散の数学的枠組みを確立する。
  論文  参考訳（メタデータ） (2024-04-23T04:51:02Z)
• PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates [17.777466668123886]
  PROMISE ($textbfPr$econditioned $textbfO$ptimization $textbfM$ethods by $textbfI$ncorporating $textbfS$calable Curvature $textbfE$stimates)はスケッチベースの事前条件勾配アルゴリズムである。 PROMISEには、SVRG、SAGA、およびKatyushaのプレコンディション版が含まれている。
  論文  参考訳（メタデータ） (2023-09-05T07:49:10Z)
• How Does Adaptive Optimization Impact Local Neural Network Geometry? [32.32593743852949]
  ニューラルネットワーク最適化の文脈では、この伝統的な視点は不十分である、と我々は主張する。 我々は、アダムのような適応的な手法が、より高速な収束を期待できる領域への軌道に偏っていることを示す。
  論文  参考訳（メタデータ） (2022-11-04T04:05:57Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。