論文の概要: BCT: Bayes-Consistent Tempering for Flow Language Models

• arxiv url: http://arxiv.org/abs/2610.27641v1
• Date: Tue, 20 Oct 2026 05:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.656943
• Title: BCT: Bayes-Consistent Tempering for Flow Language Models
• Title（参考訳）: BCT:フロー言語モデルのためのベイズ一貫性テンパリング
• Abstract要約: 生成フローの分布と力学の両方において温度を明示するベイズ・コンスタント・テンパリング(BCT)を導入する。 BCTは広い温度範囲でGSM8K生成を改善し、最も高いテンパリング性能を達成する。 非常に低温では、学習された実現はトレーニングなしの変種よりも著しく堅牢である。
• 参考スコア（独自算出の注目度）: 23.931675509910047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temperature scaling is typically applied as a post-hoc transformation of model probabilities. In posterior-induced flow language models, this creates two mismatches. First, posterior tempering implicitly changes both the endpoint distribution and the distribution of intermediate noisy states, while the denoiser remains trained on the original states. Second, the tempered posterior weights are combined with transport dynamics derived for the untempered flow. These mismatches are reflected empirically: lowering temperature improves GSM8K performance much less reliably in flow LMs than in discrete diffusion LMs. We introduce Bayes-Consistent Tempering (BCT), which makes temperature explicit in both the distributions and dynamics of the generative flow. Its learned realization trains the denoiser on tempered intermediate states and tempers the endpoint distribution using the corresponding tempered dynamics. We also derive training-free variants for conventionally trained checkpoints. Across hyperspherical flow LMs with two denoiser architectures and a von Mises--Fisher flow LM, BCT improves GSM8K generation across broad temperature ranges and achieves the strongest tempering performance. The gains also extend to Sudoku, demonstrating benefits on tightly constrained generation. At very low temperatures, the learned realization is also markedly more robust than the training-free variants, supporting temperature as a property of the generative flow across training and inference rather than a post-hoc probability adjustment. Code and model weights are available at https://daioba.github.io/bct .
• Abstract（参考訳）: 温度スケーリングは典型的には、モデル確率のポストホック変換として適用される。 後続のフロー言語モデルでは、これは2つのミスマッチを生成する。 第一に、後部テンパリングは、終端分布と中間雑音状態の分布の両方を暗黙的に変化させるが、デノイザは元の状態で訓練されている。 第二に、温められた後部重量は、未飽和流に導かれる輸送力学と結合される。 これらのミスマッチは実験的に反映される: 温度の低下はGSM8K性能を離散拡散膜よりはるかに確実に向上させる。 生成フローの分布と力学の両方において温度を明示するベイズ・コンスタント・テンパリング(BCT)を導入する。 その学習された実現は、誘電体中間状態のデノイザーを訓練し、対応する誘電体力学を用いて終端分布を誘電する。 また、従来訓練されたチェックポイントに対して、トレーニング不要な変種を導出する。 2つのデノイザアーキテクチャとvon Mises-FisherフローLMを持つ超球面流LMを横切ると、BCTは広い温度範囲にわたってGSM8K生成を改善し、最も高いテンパリング性能を達成する。 この利得は、厳格に制約された世代に利益を示すものとして、スドクにも及んでいる。 非常に低温では、学習された実現はトレーニング不要な変種よりも顕著に堅牢であり、トレーニング後の確率調整よりも、トレーニングと推論の間の生成フローの特性として温度を支えている。 コードとモデルの重み付けはhttps://daioba.github.io/bct で確認できる。

関連論文リスト

• The Coupling Within: Flow Matching via Distilled Normalizing Flows [45.3372883861006]
  フロートレーニングにおいて重要な要素は、ノイズ/データペアをサンプリングする結合尺度の選択である。 そこで本研究では,NFモデルの準決定論的結合を蒸留し,学生のフローモデルを学習するための正規化フローマッチングを提案する。
  論文  参考訳（メタデータ） (2026-03-09T23:07:36Z)
• Bubbleformer: Forecasting Boiling with Transformers [2.343575298020989]
  既存のモデルは、過去の状態から核生成を学習できないため、推論中に将来の入力を必要とする。 本稿では,安定および長距離沸騰力学を予測するトランスモデルであるBubbleformerを紹介する。 さまざまな動作流体にまたがる高忠実度データセットであるBubbleML 2.0もリリースしています。
  論文  参考訳（メタデータ） (2025-07-28T18:02:57Z)
• Progressive Inference-Time Annealing of Diffusion Models for Sampling from Boltzmann Densities [93.13866975467549]
  拡散に基づくサンプル学習のために, PITA(Progressive Inference-Time Annealing)を提案する。 PITAはボルツマン分布のアナーリングと拡散平滑化という2つの相補的手法を組み合わせたものである。 N-体粒子系、アラニンジペプチド、トリペプチドの平衡サンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-06-19T17:14:22Z)
• FlowVAT: Normalizing Flow Variational Inference with Affine-Invariant Tempering [0.0]
  多モード・高次元後肢は変分推論に重要な課題を呈する。 本稿では,フロー変動推論を正規化するための条件付きテンパリング手法であるFlowVATを紹介する。 提案手法は, ベース分布とターゲット分布を同時に焼成し, 焼成下でのアフィン不変性を維持できる。
  論文  参考訳（メタデータ） (2025-05-15T16:20:36Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。