論文の概要: LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling

• arxiv url: http://arxiv.org/abs/2610.32604v1
• Date: Fri, 23 Oct 2026 13:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.526097
• Title: LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling
• Title（参考訳）: LLaCO: 競合を考慮したセマンティックスケジューリングによる大規模言語モデルの連続拡散
• Abstract要約: 連続拡散モデルは、連続的な埋め込み空間上でのテキスト生成のための有望な非自己回帰パラダイムとして登場した。 本稿では,ノルム崩壊の埋め込みによりユークリッド距離が急激なオーバーテイクをもたらすことを示す。 競合閾値理論(CTT)としてこれらのペアワイズ力学を定式化する。 コンペティブル・アウェア・セマンティック・スケジューリングを利用した生成フレームワークであるLLaCOを紹介する。
• 参考スコア（独自算出の注目度）: 52.65086457153841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous diffusion models have emerged as a promising non-autoregressive paradigm for text generation over continuous embedding spaces. Along the continuous trajectory, the residual token identity directly shapes the denoising objective. However, the geometric trajectory misaligns with temporal progression, triggering severe temporal compression. In this paper, we show that embedding norm decay causes Euclidean distance to yield spurious overtaking, indicating that token competition must be evaluated directionally. In this space, a candidate overtakes the source token only when the effective noise magnitude surpasses their semantic separation. We formalize these pairwise dynamics as the Competition Threshold Theory (CTT). Crucially, high-dimensional overtaking requires extreme noise levels, causing standard trajectories to concentrate identity decay into a narrow window near the noisy endpoint. To resolve this, we propose Semantic Retention Scheduling (SRS) to align time allocation with the progression of identity decay, and demonstrate that existing token identity metrics are fundamentally statistical aggregations of these pairwise crossings. Building on these theoretical insights, we introduce LLaCO, a generative framework powered by competition-aware semantic scheduling. LLaCO adapts a pretrained backbone to continuous representations via an embedding directional adapter and timestep-conditioned modulation. To operate within the directional space, LLaCO employs a spherical noising process formulated as a geodesic interpolation toward a mask-biased endpoint, eliminating norm decay while preserving accurate token competition. Guided by SRS, LLaCO reallocates the denoising trajectory proportionally to the logarithmic rank decay. Instantiated as an 8B model, LLaCO outperforms previous continuous diffusion baselines and rivals discrete diffusion models of comparable scale.
• Abstract（参考訳）: 連続拡散モデルは、連続的な埋め込み空間上でのテキスト生成のための有望な非自己回帰パラダイムとして登場した。 連続的な軌跡に沿って、残留トークンのアイデンティティは、妄想の対象を直接形成する。 しかし、幾何学的軌跡は時間的進行と不一致し、重度の時間的圧縮を引き起こした。 本稿では,ノルム崩壊を埋め込むことでユークリッド距離が急激なオーバーテイクをもたらすことを示す。 この空間では、有効雑音の大きさが意味的分離を超えた場合にのみ、候補がソーストークンを追い越す。 我々はこれらのペアワイズ力学を競合閾値理論(CTT)として定式化する。 重要なことに、高次元のオーバーテイクは極度のノイズレベルを必要とするため、標準軌跡はノイズの多い終端付近の狭い窓にアイデンティティの崩壊を集中させる。 これを解決するために,SRS (Semantic Retention Scheduling) を提案して,時間割当とアイデンティティ崩壊の進行を一致させる。 これらの理論的知見に基づいて、競合認識型セマンティックスケジューリングを利用した生成フレームワークであるLLaCOを紹介する。 LLaCOは、予め訓練されたバックボーンを埋め込み方向アダプターとタイムステップ条件の変調を介して連続的な表現に適合させる。 方向空間内での操作のために、LLaCOは、仮面バイアスの端点への測地補間として定式化された球面ノイズ発生過程を用い、正確なトークン競合を保ちながらノルム崩壊を排除した。 SRSによって導かれ、LLaCOは対数ランクの減衰に比例してデノイング軌道を再配置する。 8Bモデルとして確立されたLLaCOは、以前の連続拡散ベースラインよりも優れ、比較スケールの離散拡散モデルと競合する。

関連論文リスト

• Scan-Parallel Variational Inference for event-driven Latent Jump Models [3.4994640206211245]
  時間同次マルコフ過程に対する潜時ジャンプモデル(LJM)を導入する。 トレーニングのために、抽出可能なイベント拡張パス空間ローバウンド(ELBO)を導出し、Scan-Parallel Variational Inference(SPVI)を導入する。 合成系と実不規則時系列全体において、LJMは予測精度において連続時間潜時ベースラインと競合し続けている。
  論文  参考訳（メタデータ） (2026-10-09T04:39:31Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization [42.03279303599381]
  大規模言語モデル(LLM)における幻覚は、文脈的事実や論理的制約と矛盾するコンテンツの生成によって特徴づけられる。 推論時間介入法である動的文脈直交化(DCO)を導入する。 本研究は,幻覚の幾何学的解釈を検証し,多様体アライメントの計算的手法としてDCOを確立した。
  論文  参考訳（メタデータ） (2026-06-02T01:56:29Z)
• A Doeblin-Anchored Contrastive Chart for Learning Markov Transition Kernels [1.2691047660244335]
  本稿では,トランジションカーネルを対照的な目的から学習するための統計的・動的座標フレームワークを提案する。 固定された相対的リスクは、固定された遷移密度を識別し、過剰なリスクを密度誤差に校正することを証明する。
  論文  参考訳（メタデータ） (2026-06-01T13:26:44Z)
• Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
  遅延不一致による冗長性を除去する学習自由フレームワークを提案する。 LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-29T19:34:39Z)
• Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
  本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。 まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。 第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
  論文  参考訳（メタデータ） (2026-05-07T14:56:39Z)
• Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。 信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:02:30Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。