論文の概要: Improving Few-Step Language Flows with Untied Self-Conditioning
- arxiv url: http://arxiv.org/abs/2608.22244v1
- Date: Sun, 23 Aug 2026 06:46:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.662174
- Title: Improving Few-Step Language Flows with Untied Self-Conditioning
- Title（参考訳）: 未熟な自己完結型言語の流れの改善
- Abstract要約: フローマッチング言語モデルは、すべてのトークン位置を並列に洗練し、遅延のためのサンプリングステップを交換することができる。
我々は、この劣化の原因を、前述の自己条件における列車間ミスマッチに遡る。
このミスマッチは、自己条件入力とソルバ更新の両方を劣化させ、モデル自身の構造から各修正を導出することを示す。
- 参考スコア（独自算出の注目度）: 17.95725125716772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow-matching language models refine all token positions in parallel and can trade sampling steps for latency, yet generation quality still degrades sharply with few sampling steps. We trace a source of this degradation to a train--inference mismatch in previous-prediction self-conditioning: during training, the self-conditioning input is computed from the current noisy state with no intervening solver step; during sampling, the solver folds the previous prediction into the latent before that same prediction reappears as the explicit self-conditioning input. This coupling, absent during training, creates redundancy that grows with step width. We show that the mismatch degrades both the self-conditioning input and the solver update, and derive a correction for each from the model's own structure. From the frozen projection weights we identify directions along which the self-conditioning input is redundant with the latent and dampen them; from the solver's integration structure we derive that a step-average prediction is needed and approximate it from prediction history, with scale set by offline trajectory statistics. The resulting sampler, Untied Self-Conditioning, requires no retraining and uses one evaluation per step. At 8 sampling steps on LangFlow, it reduces OpenWebText generative perplexity from $531$ to~$62$ ($8.6\times$); under an adapted Arena-Hard-Auto~v2 protocol, its outputs are preferred in $96\%$ of pairwise comparisons. On ELF-B it reduces generative perplexity from $71$ to~$43$. Improvements hold from 8 to 256 sampling steps.
- Abstract（参考訳）: フローマッチング言語モデルは、すべてのトークン位置を並列に洗練し、レイテンシーのためのサンプリングステップを交換できるが、生成品質はサンプリングステップを少なくして大幅に低下する。
我々は、この劣化の原因を、前述した自己条件入力における列車干渉ミスマッチに遡る:訓練中、自己条件入力はインターベンブリングソルバステップなしで現在のノイズ状態から計算され、サンプリング中は、前述した予測が明示的な自己条件入力と再現れる前に、前述した予測を潜伏状態に折り畳む。
この結合は、トレーニング中に欠如し、ステップ幅で成長する冗長性を生み出します。
このミスマッチは、自己条件入力とソルバ更新の両方を劣化させ、モデル自身の構造から各修正を導出することを示す。
凍結した投射重みから、自己条件入力が潜時と冗長である方向を特定し、それらを減衰させ、解の積分構造から、ステップ平均予測が必要であり、オフライン軌道統計によるスケールセットを用いて予測履歴から近似する。
結果のサンプルであるUntied Self-Conditioningは、再トレーニングを必要とせず、ステップ毎に1つの評価を使用する。
LangFlowの8ステップのサンプリングでは、OpenWebText生成パープレキシティを$531$から$62$$$8.6\times$に削減する。
ELF-Bでは、生成パープレキシティを711ドルから43ドルに下げる。
改善は8から256のサンプリングステップに留まる。
関連論文リスト
- REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。
REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。
このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
論文 参考訳（メタデータ） (2026-08-31T11:34:19Z) - FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows [18.746098727212544]
FlowBenderは3D再構成のための新しい拡散流モデルである。
FlowBenderは、標準的な教師付きアライメントトレーニングよりも一貫して優れています。
微分可能な演算子に対して、FlowBenderのいくつかの変種を提案する。
論文 参考訳（メタデータ） (2026-06-18T15:56:07Z) - LESS Is More: Mutual-Stability Sampling for Diffusion Language Models [23.94639050546374]
拡散大言語モデル (dLLMs) は自己回帰デコードに代わる有望な代替手段を提供する。
我々は、トークンのコミットメントをオンライン停止問題として扱う、トレーニング不要でモデルに依存しない適応型サンプリングであるtextscLESSを提示する。
textscLESSは、固定予算デコードよりも72.1%のリバースステップを減らしながら、強力なトレーニングなし適応型サンプリング器よりも平均精度を向上する。
論文 参考訳（メタデータ） (2026-06-15T16:15:45Z) - AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation [70.80207977907908]
フローマップをベースとした,最初のノンステップビデオ拡散蒸留フレームワークであるAnyFlowを紹介した。
我々は、AnyFlowがいくつかの段階において、パフォーマンスの一致を達成するか、一貫性ベースの結果を上回ることを示す。
論文 参考訳（メタデータ） (2026-05-13T16:06:34Z) - FlowS: One-Step Motion Prediction via Local Transport Conditioning [3.883772843505009]
ローカルトランスポートコンディショニングは、安全クリティカルな自律性のために一段階の生成動作予測を実践する。
FlowSは75のアンサンブルを持つ最先端のSoft mAP (0.4804)とmAP (0.4703)を単一ステップ推論で調整する。
論文 参考訳（メタデータ） (2026-04-28T19:06:06Z) - EFlow: Fast Few-Step Video Generator Training from Scratch via Efficient Solution Flow [52.73538517981873]
EFlowは、ビデオ拡散トランスフォーマーのための効率的な数ステップのトレーニングフレームワークである。
Gated Local-Global Attentionはトークンドロップ可能なハイブリッドブロックである。
Path-Drop Guidedトレーニングは、高価なターゲットを計算的に安価で弱いパスに置き換える。
論文 参考訳（メタデータ） (2026-03-28T02:06:55Z) - FSampler: Training Free Acceleration of Diffusion Sampling via Epsilon Extrapolation [0.0]
FSamplerは、NFE(Function Evaluations)の数を削減して拡散サンプリングを加速するトレーニングフリーのサンプル実行層である。
FSamplerは、最近の実モデル呼び出しからの信号の分解の歴史を短く保ち、有限差分予測器を用いて次のエプシロンを外挿する。
サンプルレベルで動作するFSamplerは、Euler/DDIM、DPM++ 2M/2S、LMS/AB2、RESファミリー指数的マルチステップメソッドと統合されている。
論文 参考訳（メタデータ） (2025-11-12T10:21:25Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。
微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
論文 参考訳（メタデータ） (2024-12-11T11:08:09Z) - An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。
側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。
我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
論文 参考訳（メタデータ） (2024-02-12T22:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。