論文の概要: Beyond the Manifold Hypothesis: Hybrid Spectral Parameterizations for Flow Matching

• arxiv url: http://arxiv.org/abs/2609.32432v1
• Date: Sat, 26 Sep 2026 10:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:13:08.486192
• Title: Beyond the Manifold Hypothesis: Hybrid Spectral Parameterizations for Flow Matching
• Title（参考訳）: マニフォールド仮説を超えて:フローマッチングのためのハイブリッドスペクトルパラメータ化
• Abstract要約: フローマッチングと拡散は、異なる量を予測するために訓練することができる。 これらの違いの主な要因は、音源-データ信号-雑音比と、ニューラルネットワークによって引き起こされる情報のボトルネックである。
• 参考スコア（独自算出の注目度）: 8.472166927607686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow matching and diffusion can be trained to predict different quantities, most commonly the data $x_1$, the source noise $x_0$, or the velocity~$v$. Although theoretically equivalent, these can lead to substantially different performances. We identify two main drivers for these differences: the source--data signal-to-noise ratio, and the information bottleneck induced by the neural architecture. We show that, beyond intrinsic data dimension, the factor affecting the optimal parametrization the most is a certain signal-to-noise ratio in each data covariance direction. From this analysis, we introduce new \emph{spectral hybrid} parameterizations that adapt across time and data covariance directions; we show that these are optimal for Gaussian data. We also show that architecture-induced compression changes which parameterization is easier to learn, with $v$-prediction being more sensitive to discarded directions than $x_1$-prediction. Experiments across architectures and source scales show that our spectral parameterizations are robust across regimes, can substantially accelerate optimization, while incurring essentially no additional training cost compared with standard parameterizations.
• Abstract（参考訳）: フローマッチングと拡散は、データ$x_1$、ソースノイズ$x_0$、ベロシティ~$v$など、様々な量を予測するために訓練することができる。 理論的には同値であるが、これは実質的に異なるパフォーマンスをもたらす可能性がある。 これらの違いの主な要因は、音源-データ信号-雑音比と、ニューラルネットワークによって引き起こされる情報のボトルネックである。 内在的なデータ次元を超えて、最適なパラメトリゼーションに最も影響を及ぼす要因は、各データ共分散方向の信号対雑音比であることを示す。 この分析から,時間とデータ共分散方向に適応する新しい「emph{spectral hybrid}パラメタライゼーション」を導入し,ガウスデータに最適であることを示す。 また,$v$-prediction は$x_1$-prediction よりも捨てられた方向に対してより敏感であることを示す。 アーキテクチャとソーススケールをまたいだ実験により、我々のスペクトルパラメータ化はレジーム間で堅牢であり、最適化を著しく加速する一方で、標準パラメータ化と比較して本質的に追加のトレーニングコストは発生しないことが示された。

関連論文リスト

• Estimation of Toeplitz Covariance Matrices using Overparameterized Gradient Descent [1.7188280334580195]
  単純降下レンズ(GD)によるToeplitz共分散推定の再検討 K = P$ のとき、GD は準最適解に収束する。 本稿では,振幅と周波数の学習率の異なる高速なGD変種を提案する。
  論文  参考訳（メタデータ） (2025-11-03T14:07:53Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Finding One's Bearings in the Hyperparameter Landscape of a Wide-Kernel Convolutional Fault Detector [0.10241134756773229]
  最先端のアルゴリズムは、健全な機械軸受と損傷した機械軸受との振動を区別するのにほぼ完璧であると報告されている。 本稿では,故障検出のためのニューラルネットワークが誤パラメータ化によって故障することを確認する。
  論文  参考訳（メタデータ） (2024-11-19T09:17:13Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Bayesian Analysis for Over-parameterized Linear Model via Effective Spectra [6.9060054915724]
  我々は,データ適応型ガウス前処理を導入し,その環境次元よりもデータ固有の複雑さを目標とした。 我々は、スペクトルの質量が予測誤差境界にどのように影響するかを明らかにするために、対応する後部分布の収縮率を確立する。 ベイジアン法は,非スパース,高次元の設定において,データのスペクトル情報を利用した推定に有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-25T06:07:47Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Dual Parameterization of Sparse Variational Gaussian Processes [29.977303466172906]
  スパース変分ガウス過程(SVGP)法は非共役ガウス過程推論の一般的な選択である。 本稿では,双対パラメータ化による計算効率の向上について述べる。 このアプローチは、現在のSVGPメソッドと同じメモリコストを持つが、より速く、より正確である。
  論文  参考訳（メタデータ） (2021-11-05T11:31:42Z)
• Gravitational-wave parameter estimation with autoregressive neural network flows [0.0]
  深部ニューラルネットワークを用いた重力波データから二元ブラックホール系のパラメータを高速に推定するための自己回帰正規化フローを導入する。 正規化フロー(英: normalizing flow)は、単純な確率分布からより複雑なものへの変換を誘導するために用いられるサンプル空間上の可逆写像である。 可変オートエンコーダフレームワークに自己回帰フローを組み込むことにより,より強力な潜在変数モデルを構築する。
  論文  参考訳（メタデータ） (2020-02-18T15:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。