論文の概要: When Can Conditional Flow Matching Replace Pointwise Negative Log-Likelihood?
- arxiv url: http://arxiv.org/abs/2608.28010v1
- Date: Fri, 28 Aug 2026 07:24:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.237792
- Title: When Can Conditional Flow Matching Replace Pointwise Negative Log-Likelihood?
- Title(参考訳): 条件付きフローマッチングは、ポイントワイドな負の対数型に置き換えられるか?
- Abstract要約: フローマッチングは、可能性のないトレーニングを可能にするが、コンディションフローマッチング(CFM)の損失を、エンドポイント負のログ類似度(NLL)として再利用するアライメント手法が増えている。
終端NLLをエントロピー、重み付きCFM目標、内部速度-スコア残差、境界残差に分解する。
オンラインのログ比は、同一のエンドポイント法則やサロゲート最適化の後にもバイアスを受け続けることができる。
- 参考スコア(独自算出の注目度): 6.555748951298505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow matching enables likelihood-free training, yet alignment methods increasingly reuse conditional flow matching (CFM) losses as endpoint negative log-likelihoods (NLLs) and their old/new differences as log-likelihood ratios. We characterize when these substitutions are valid. For linear Gaussian paths, we exactly decompose endpoint NLL into entropy, a weighted CFM objective, an interior velocity--score residual, and a boundary residual. Thus CFM-only estimates and differences are exact only when the corresponding residuals cancel. At the off-policy population optimum, ordinary CFM is not generally a pointwise NLL estimator, whereas \(w_{\mathrm{sc}}(t)=(1-t)/t\) removes the interior residual; this positive result does not extend generally to training or on-policy alignment. On-policy log-ratios can remain biased even for identical endpoint laws or after surrogate optimization. Experiments across dimensions, distributions, and geometries support these conclusions and the mechanisms that make inexact ratios useful. **More broadly, the decomposition provides a theoretical basis for adapting likelihood-based LLM methods to flow matching, while distinguishing exact substitutions from controlled surrogates.**
- Abstract(参考訳): フローマッチングは、可能性のないトレーニングを可能にするが、コンディションフローマッチング(CFM)の損失をエンドポイント負のログ類似度(NLL)として再利用し、その古い/新しい違いをログ類似度として再利用するアライメント手法が増えている。
これらの置換が有効であるときに特徴付ける。
線形ガウスパスでは、終点NLLをエントロピー、重み付きCFM目標、内部速度-スコア残差、境界残差に正確に分解する。
したがって、CFMのみの見積と差は、対応する残差がキャンセルされた場合にのみ正確に与えられる。
一般のCFMは一般にNLL推定器ではなく、(w_{\mathrm{sc}}(t)=(1-t)/t\)は内部の残留を除去する。
オンラインのログ比は、同一のエンドポイント法則やサロゲート最適化の後にもバイアスを受け続けることができる。
次元、分布、および測地に関する実験は、これらの結論と不正確な比を有用なものにするメカニズムを支持している。
**大まかに言えば、この分解は、制御された置換基から正確な置換を区別しながら、確率に基づくLLM法をフローマッチングに適用するための理論的基礎を提供する。
※※
関連論文リスト
- Unscented KalmanNet: Structure-Preserving Deep Learning with Calibrated Posterior Uncertainty under Incomplete Physics and Unknown Noise [3.3318820340878528]
既存の学習支援フィルタは、精度と不確かさを別々に扱う。
本稿では、Unscented Kalman Filter(UKF)を拡張したモデルベースディープラーニングアーキテクチャであるUnscented KalmanNet(UKN)を紹介する。
UKNは4つの例の中で最も低い状態推定誤差を達成し、合成ケースではUKFと比較してRMSEを26.4-49.7%削減する。
論文 参考訳(メタデータ) (2026-08-04T19:58:01Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳(メタデータ) (2026-08-04T04:30:02Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳(メタデータ) (2026-06-10T21:07:49Z) - Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers [6.018167862639113]
導入とプレコンディショナーは、通常同じミニバッチから推定されることを示す。
プレコンディショナー推定が偏りのない場合でも、逆根や逆根は一般に非線形であるため偏りがある。
両効果に対処する単一バッチバイアス補正フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-20T05:54:24Z) - On Variance Reduction in Learning Mean Flows [7.705995307512647]
平均フロートレーニングは不安定で、非減少損失と非バウンド勾配のばらつきがある。
我々は,この病態を条件速度場の誤用とみなす理論を確立した。
我々は、閉形式の最適係数を導出し、並列処理における修正の族が、同じ最適化の異なる実践的実現に対応することを示す。
論文 参考訳(メタデータ) (2026-05-10T00:32:53Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳(メタデータ) (2026-05-01T17:59:59Z) - Co-optimization for Adaptive Conformal Prediction [9.881784717196675]
中心$m(x)$と半径$h(x)$を共同最適化することにより予測間隔を学習するフレームワークを提案する。
合成および実ベンチマークの実験は、CoCPが一貫して短い間隔で生成し、最先端の条件付きカバレッジ診断を実現することを示した。
論文 参考訳(メタデータ) (2026-03-02T10:43:19Z) - Stream-level flow matching with Gaussian processes [4.935875591615496]
条件付きフローマッチング(CFM)は、連続正規化フロー(CNF)を適合させる訓練アルゴリズムの一群である。
我々は、ストリームに沿った条件付き確率パス、ソースとターゲットのデータペアを接続する遅延パスのインスタンスを定義することで、CFMアルゴリズムを拡張した。
本研究では, CFMの一般化により, 推定限界ベクトル場の分散を適度な計算コストで効果的に低減できることを示す。
論文 参考訳(メタデータ) (2024-09-30T15:47:22Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。