論文の概要: Context-weighted Discrete Flow Matching

• arxiv url: http://arxiv.org/abs/2607.21427v1
• Date: Thu, 23 Jul 2026 15:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.456115
• Title: Context-weighted Discrete Flow Matching
• Title（参考訳）: コンテキスト重み付き離散フローマッチング
• Abstract要約: 本稿では,ローカルコンテキスト情報を組み込んだCTMC(Continuous-time Markov chain)の簡単な修正を提案する。 文脈重み付きサンプリング器は,計算オーバーヘッドを無視して生成品質を向上させる。 スケールしたクロスエントロピー損失関数は,異なるトークンからトレーニング信号を再重み付けし,OpenWebText上で生成パープレキシティを最大63%低減する。
• 参考スコア（独自算出の注目度）: 13.385997589934645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete flow matching provides a flexible framework for generative modeling on discrete structures. However, the standard factorized training objective exposes the model to targets of varying difficulty, mixing well-conditioned, predictable tokens with ambiguous, high-entropy ones. We empirically demonstrate that the uncertainty over the value of each token is closely related to the density of available context in its neighborhood. Motivated by this observation, we propose a simple modification to the underlying continuous-time Markov chain (CTMC) that incorporates local context information. Our context-weighted sampler improves generation quality with negligible computational overhead, while our scaled cross-entropy loss function reweights the training signal from different tokens and reduces generative perplexity by up to 63% on OpenWebText. Moreover, our approach matches a strong semi-autoregressive block diffusion baseline in quality while retaining the ability to perform generation in any order. These results highlight the role of local context as an important factor in discrete generative modeling and show that simple context-aware modifications can significantly improve both sampling and training efficiency.
• Abstract（参考訳）: 離散フローマッチングは、離散構造上の生成モデリングのための柔軟なフレームワークを提供する。 しかし、標準的な因子化トレーニングの目的は、不明瞭で高エントロピーなトークンとよく条件付きで予測可能なトークンを混合して、様々な難しさのターゲットにモデルを公開している。 それぞれのトークンの値に対する不確実性は、その近傍で利用可能なコンテキストの密度と密接な関係があることを実証的に示す。 本研究の目的は,局所的な文脈情報を組み込んだCTMC(Continuous-time Markov chain)の簡易な修正を提案することである。 拡張されたクロスエントロピー損失関数は、異なるトークンからトレーニング信号を再重み付けし、OpenWebText上では最大63%まで生成パープレキシティを低下させる。 さらに,本手法は,任意の順序で生成を行う能力を維持しつつ,高い半自己回帰的ブロック拡散ベースラインを品質に適合させる。 これらの結果は、離散生成モデルにおいて、局所的文脈が重要な要素であることを示すとともに、単純な文脈対応の修正がサンプリングとトレーニングの効率の両方を著しく改善できることを示す。

関連論文リスト

• Contrastive-Augmented Flow Matching for Style-Content Disentanglement [26.08049457095161]
  Contrastive Augmented Flow Matching (CAtFM) は、コントラスト正規化を非可逆なフローマッチング形式に統合し、構造化コンテンツスタイルの表現を促進するフレームワークである。 我々の実験はCLIP埋め込み空間で行われ、凍結したDINOとALIGNエンコーダによるさらなる検証が行われた。 全体として、CAtFMは、決定論的輸送と差別的制約を結合する簡単な方法を提供する。
  論文  参考訳（メタデータ） (2026-07-14T06:23:52Z)
• Simplifying Flow Matching Transformations with Low-Rank Mixture Models [58.797704398690165]
  本稿では,確率的主成分分析器(MPPCA)の混合物を流動の正規化のための潜在密度として用いることを提案する。 我々は,KL分散の観点でデータ分布とより密接に一致した潜在分布を学習することにより,学習フロー変換を単純化する。 MPPCAモデルは期待最大化アルゴリズムを用いて迅速かつ安価に適合し、高次元生成タスクにおいても潜在分布を初期化するための実用的な選択となる。
  論文  参考訳（メタデータ） (2026-06-29T03:03:06Z)
• MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
  連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。 ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
  論文  参考訳（メタデータ） (2026-05-18T01:52:12Z)
• Structured Coupling for Flow Matching [16.361601016656707]
  本稿では,構造化潜在表現学習に適合するフローを増大させる協調的なフレームワークを提案する。 SCFMは、構造付き遅延変数とノイズをソースに導入することにより、構造化された事前と連続的な輸送マップを共同で学習する。 潜在変数モデル変分推論と中間時間流速推定の両方に共有時間依存認識ネットワークを使用する。
  論文  参考訳（メタデータ） (2026-05-08T12:47:37Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• SHAMISA: SHAped Modeling of Implicit Structural Associations for Self-supervised No-Reference Image Quality Assessment [6.175621390241037]
  No-Reference Image Quality Assessment (NR-IQA) は、素質の基準画像にアクセスすることなく知覚品質を推定することを目的としている。 本研究では,非コントラストな自己監督型フレームワークであるSHAMISAを提案する。
  論文  参考訳（メタデータ） (2026-03-14T00:37:26Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。