論文の概要: ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
- arxiv url: http://arxiv.org/abs/2608.23551v1
- Date: Mon, 24 Aug 2026 17:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.229473
- Title: ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
- Title（参考訳）: ConvergeFlow: Token Embeddingsへのコンバージェンスを保証した言語フロー
- Abstract要約: 埋め込み型フローベースLMである textbfConvergeFlow を紹介する。
適切な規則性条件下では、結果のフローがデータ予測器のエラーにもかかわらず有効なトークン埋め込みに収束することが証明される。
OpenWebTextの実験では、ConvergeFlowが既存の連続および離散拡散LMと競合するパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 12.564043065639177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in continuous diffusion and flow-based language models (LMs) have achieved performance competitive with discrete LMs. However, existing continuous frameworks still rely on decoders supervised with cross entropy (CE) because the flow trajectories are not guaranteed to terminate at valid token embeddings. Motivated by this limitation, we introduce \textbf{ConvergeFlow}, an embedding-space flow-based LM, which constrains the data predictor to the convex hull of token embeddings and trains it solely with the mean squared error objective induced by flow matching. Under suitable regularity conditions, we prove that the resulting flow converges to valid token embeddings despite errors in the data predictor, enabling direct token prediction without a CE-supervised decoder. We further develop three sampling mechanisms for controlling the trade-off between the generative perplexity and entropy. Experiments on OpenWebText demonstrate that ConvergeFlow achieves performance competitive with existing continuous and discrete diffusion LMs. These findings demonstrate the potential of the flow-based paradigm for language modeling. Our code is available at https://github.com/Na-Li66/ConvergeFlow.
- Abstract（参考訳）: 連続拡散およびフローベース言語モデル(LM)の最近の進歩は、離散的なLMと競合する性能を実現している。
しかし、既存の継続的フレームワークは、フロー軌跡が有効なトークン埋め込みで終了することを保証されていないため、クロスエントロピー(CE)で管理されるデコーダに依存している。
この制限により、埋め込み空間フローベースのLMであるtextbf{ConvergeFlow}を導入し、トークン埋め込みの凸殻にデータ予測器を拘束し、フローマッチングによって誘導される平均2乗誤差目標のみを訓練する。
適切な正則性条件下では、データ予測器のエラーにもかかわらず、結果のフローが有効なトークン埋め込みに収束することを示し、CE制御デコーダを使わずに直接トークン予測を可能にする。
さらに,生成的パープレキシティとエントロピーのトレードオフを制御するための3つのサンプリング機構を開発した。
OpenWebTextの実験では、ConvergeFlowが既存の連続および離散拡散LMと競合するパフォーマンスを実現している。
これらの結果は,言語モデリングにおけるフローベースパラダイムの可能性を示している。
私たちのコードはhttps://github.com/Na-Li66/ConvergeFlow.comから入手可能です。
関連論文リスト
- AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳（メタデータ） (2026-08-03T17:59:50Z) - ConFlow: Constraints-Guided Learning with Flow Matching for Motion Generation [2.0175723444555307]
ロボットモーション生成では、収集されたデータには存在しないかもしれない追加の制約があることが多い。
本研究では,制約情報を直接トレーニング対象に組み込む制約誘導型フローマッチングフレームワークであるConFlowを提案する。
2ボットナビゲーションタスクの実験は、ConFlowがより低い衝突率とより高い軌道品質を達成することを示した。
論文 参考訳（メタデータ） (2026-07-15T23:27:04Z) - Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。
両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。
我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
論文 参考訳（メタデータ） (2026-06-07T02:35:56Z) - Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳（メタデータ） (2026-05-19T12:01:13Z) - FlowIt: Global Matching for Optical Flow with Confidence-Guided Refinement [44.07406912385784]
FlowItは光フロー推定のための新しいアーキテクチャである。
大きなピクセルの変位を頑健に扱えるように設計されている。
競合するSintelとKITTIのベンチマークで最先端の結果が得られる。
論文 参考訳（メタデータ） (2026-03-30T17:58:12Z) - Learning Straight Flows: Variational Flow Matching for Efficient Generation [36.84747986070112]
フローマッチングは、学習された曲線軌道に依存するため、ワンステップ生成の能力に制限がある。
textbfS-VFMは、軌道直線性を明示的に強制し、理想的には線形生成経路を生成する。
論文 参考訳（メタデータ） (2025-11-15T22:51:58Z) - Continuous Autoregressive Language Models [56.49239051750678]
我々はCALM(Continuous Autoregressive Language Models)を紹介する。
CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。
我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
論文 参考訳（メタデータ） (2025-10-31T17:58:11Z) - PO-Flow: Flow-based Generative Models for Sampling Potential Outcomes and Counterfactuals [20.10830878838357]
本稿では,因果推論のための連続正規化フロー(CNF)フレームワークPO-Flowを提案する。
PO-Flowは、平均的な処理効果推定、個人化された潜在的な結果予測、および対実予測に対する統一的なアプローチを提供する。
論文 参考訳（メタデータ） (2025-05-21T22:02:48Z) - FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [56.30231216917128]
FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。
各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。
FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
論文 参考訳（メタデータ） (2025-02-16T13:54:32Z) - AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。
従来の前方累積よりも後方累積の方が優れていることを示す。
長距離光流量推定におけるAccFlowの有効性を検証する実験
論文 参考訳（メタデータ） (2023-08-25T01:51:26Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。