論文の概要: Discrete Beckmann Transport Models for One-Step Language Modeling and Reasoning
- arxiv url: http://arxiv.org/abs/2609.15903v2
- Date: Tue, 15 Sep 2026 14:23:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.10346
- Title: Discrete Beckmann Transport Models for One-Step Language Modeling and Reasoning
- Title（参考訳）: 1ステップ言語モデリングと推論のための離散ベックマン輸送モデル
- Abstract要約: 離散ベックマン輸送モデル(DBTM)を紹介する。
DBTMは時間に依存しない流れの上に構築され、自律的な輸送マップは、周囲空間の任意の点を一つのステップで固定点へ確実に輸送する。
言語モデリングと推論タスクにおいて、DBTMは離散拡散と連続フローベースラインよりも品質と精度を向上させる1段階と2段階の生成を可能にする。
- 参考スコア（独自算出の注目度）: 1.6566972365776105
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Discrete diffusion and flow models are a promising alternative to autoregressive language models, but compressing many-step sampling into fewer steps typically requires distilling a pretrained teacher model. This caps the student at the teacher's quality and requires a costly two-stage training pipeline. We introduce Discrete Beckmann Transport Models (DBTM), built on a time-independent flow whose autonomous transport map provably carries any point in the ambient space to a fixed point on the vertices of the simplex in a single step. We show that this fixed-point property is characterized by a conservation equation whose residual can be minimized directly from data, removing the requirement for a teacher flow and time conditioning. Under this construction, a partially trained map corresponds to the flow truncated at finite time, so generation reduces to iterating one map until it reaches a fixed point. We further extend the map to a partial-context interpolant where additional function evaluations act as refinement steps rather than ODE integration steps. On language modeling and reasoning tasks, DBTM enables one- and few-step generation that improves quality and accuracy over discrete diffusion and continuous flow baselines.
- Abstract（参考訳）: 離散拡散とフローモデルは自己回帰言語モデルに代わる有望な代替手段であるが、多くのステップのサンプリングを少ないステップに圧縮するには、通常、事前訓練された教師モデルを蒸留する必要がある。
これは教師の質を損なうもので、コストがかかる2段階の訓練パイプラインを必要とする。
本研究では, 自律移動マップが周囲空間の任意の点を, 単一のステップで単純体の頂点上の固定点まで確実に運べる時間非依存流上に構築された離散ベックマン輸送モデル(DBTM)を紹介する。
この固定点特性はデータから直接の残差を最小化できる保存方程式によって特徴づけられ、教師の流路や時間条件の要求をなくすことが示される。
この構成の下では、部分的に訓練された写像は有限時間で切り離された流れに対応するため、生成は固定点に達するまで1つの写像を反復する。
さらに、地図を部分文脈補間器に拡張し、追加の関数評価がODE統合ステップよりも洗練されたステップとして機能する。
言語モデリングと推論タスクにおいて、DBTMは離散拡散と連続フローベースラインよりも品質と精度を向上させる1段階と2段階の生成を可能にする。
関連論文リスト
- Beckmann Transport Models: From Autonomous Flows to One-Step Maps [47.88178310873025]
本稿では,時間非依存な速度場に依存する流れマッチングのインスタンス化を提案し,二つの分布をマッピングする。
また、この流れに付随する一段階生成写像が、単純な保存方程式のユニークな解であることも示している。
論文 参考訳（メタデータ） (2026-08-03T04:45:52Z) - Flow Map Learning via Nongradient Vector Flow [22.985676782036904]
拡散とフローベースのモデルは単純な回帰損失の恩恵を受けるが、サンプリングは統合を必要とするため、推論はかなりのオーバーヘッドを引き起こす。
モデル反復による明示的な可逆性制約や高価な微分を回避し,フローマップを学習するためのアプローチであるSGFlowを紹介する。
論文 参考訳（メタデータ） (2026-07-29T02:17:27Z) - Perceptual Flow Matching for Few-Step Generative Modeling [64.26537634881244]
知覚フローマッチング(Perceptual Flow Matching)は、フローマッチングモデルにおいて、数ステップ生成のためのフレームワークである。
PFMは、適切な表現空間で教師される際に、高品質な数ステップジェネレータを生成する。
論文 参考訳（メタデータ） (2026-07-03T17:55:01Z) - D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models [27.90064267850009]
ステップ蒸留拡散モデルのための新しい訓練パラダイムであるD-OPSDを提案する。
D-OPSDにより、モデルは元の数ステップのキャパシティを犠牲にすることなく、新しい概念、スタイルなどを学ぶことができる。
論文 参考訳（メタデータ） (2026-05-06T17:59:34Z) - A Few-Step Generative Model on Cumulative Flow Maps [25.03991490159211]
確率空間における長距離輸送のためのエンファンキュラティブフローマップに基づく,統一的で数段階の生成モデリングフレームワークを提案する。
コアとなるのは累積フローの抽象化で、ローカル、即時のアップデートと有限時間転送を接続する。
画像生成,幾何分布モデリング,共同予測,SDF生成など,様々なタスクにまたがる効果を示す。
論文 参考訳（メタデータ） (2026-05-05T10:51:40Z) - FlowS: One-Step Motion Prediction via Local Transport Conditioning [3.883772843505009]
ローカルトランスポートコンディショニングは、安全クリティカルな自律性のために一段階の生成動作予測を実践する。
FlowSは75のアンサンブルを持つ最先端のSoft mAP (0.4804)とmAP (0.4703)を単一ステップ推論で調整する。
論文 参考訳（メタデータ） (2026-04-28T19:06:06Z) - FlowConsist: Make Your Flow Consistent with Real Trajectory [99.22869983378062]
現在の高速フロートレーニングパラダイムには,2つの根本的な問題がある,と我々は主張する。
ランダムにペアリングされたノイズデータサンプルから構築された条件付き速度は、系統的な軌跡ドリフトを導入する。
本研究では,高速フローにおける軌道整合性を実現するためのトレーニングフレームワークであるFlowConsistを提案する。
論文 参考訳（メタデータ） (2026-02-06T03:24:23Z) - MeanFlowSE: one-step generative speech enhancement via conditional mean flow [13.437825847370442]
MeanFlowSEは、軌道に沿った有限区間の平均速度を学習する条件付き生成モデルである。
VoiceBank-DEMANDでは、シングルステップモデルは多ステップベースラインよりも計算コストが大幅に低い強い知性、忠実性、知覚品質を実現する。
論文 参考訳（メタデータ） (2025-09-18T11:24:47Z) - Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。
画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。
テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
論文 参考訳（メタデータ） (2025-06-17T15:06:07Z) - Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。
このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。
整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文 参考訳（メタデータ） (2024-10-18T22:38:08Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。