論文の概要: Time-Anchored Diffusion Language Models: Latent-Space Caching for Fast Generation
- arxiv url: http://arxiv.org/abs/2609.37924v1
- Date: Tue, 29 Sep 2026 16:16:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.731698
- Title: Time-Anchored Diffusion Language Models: Latent-Space Caching for Fast Generation
- Title（参考訳）: 時分割拡散言語モデル:高速生成のための潜時空間キャッシング
- Abstract要約: 自己監督型アンカーは、そのようなターゲットを必要とせず、潜伏型アンカーを学習し再利用する。
我々は、このフレームワークを、事前訓練されたDLMをタイムアコライズするTADM:Post-trainと、事前訓練中に時間ベースのアンカーを学習するTADM:Pretrainingとしてインスタンス化する。
- 参考スコア（独自算出の注目度）: 23.888445709104825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work on anchored diffusion language models improves denoising by shaping an intermediate latent space with supervised important-token targets. In this work, we introduce time-based (self-supervised) anchoring, which learns and reuses latent anchors without requiring such targets. Our key observation is that anchors encode persistent properties of the clean sequence, such as its semantic intent, global structure, or intermediate plan. Although their hidden representations become stale as the token canvas evolves, their semantic content remains useful across nearby diffusion times. This is implemented through a two-stage architecture consisting of a relatively expensive anchor network that generates the latent cache state and a lightweight denoising network that intelligently combines the cached latent state with the current state at each reverse step using a fusion module. This gives anchoring a latent-space caching interpretation: the anchor network is evaluated periodically, while its cached representation is reused across multiple reverse steps. We instantiate this framework as TADM:Post-train, which time-anchorizes pretrained DLMs, and TADM:Pretraining, which learns time-based anchors during pretraining. Applied to DiffusionGemma-26B, TADM:Post-train improves throughput by approximately 49% to 79% on several math, code, and STEM benchmarks (GSM8K, AIME26, GPQA-Diamond, LiveCodeBench-v6, HumanEval, MMLU-Pro). TADM:Pretraining reduces Transformer-layer computation by up to 38% relative to a standard single-stage DLM, achieves up to 73% higher measured throughput than ADLM.
- Abstract（参考訳）: 係留拡散言語モデルに関する最近の研究は、教師付き重要な目標を持つ中間潜在空間を形成することにより、デノナイジングを改善する。
本研究では,時間ベースのアンカー(自己教師型アンカー)を導入し,そのようなターゲットを必要とせずに潜伏型アンカーを学習・再利用する。
キーとなる観察は、アンカーがその意味的意図、グローバル構造、中間計画などのクリーンシーケンスの永続的な特性をエンコードすることです。
トークンキャンバスが進化するにつれて隠れた表現は時代遅れになるが、それらの意味的内容は近傍の拡散時間にわたって有用である。
これは、比較的高価なアンカーネットワークからなり、潜伏キャッシュ状態を生成する軽量なデノナイジングネットワークと、融合モジュールを使用して各逆ステップでキャッシュされた潜伏状態と現在の状態とをインテリジェントに結合する軽量なデノナイジングネットワークとからなる2段階アーキテクチャによって実装される。
アンカーネットワークは定期的に評価され、キャッシュされた表現は複数の逆ステップで再利用される。
我々は、このフレームワークを、事前訓練されたDLMをタイムアコライズするTADM:Post-trainと、事前訓練中に時間ベースのアンカーを学習するTADM:Pretrainingとしてインスタンス化する。
DiffusionGemma-26Bに適用されたTADM:Post-trainは、いくつかの数学、コード、STEMベンチマーク(GSM8K、AIME26、GPQA-Diamond、LiveCodeBench-v6、HumanEval、MMLU-Pro)で、スループットを49%から79%改善する。
TADM:Pretraining は Transformer-layer 計算を標準の単一ステージ DLM と比較して最大38%削減し,ADLM よりも最大73%高いスループットを実現する。
関連論文リスト
- Multi-Depth Temporal Fusion for Feedforward, Locally Trained Spiking Neural Networks [2.8365667468538116]
本稿では、TTFS(Time-to-first-Spike)レイテンシを用いて、静的画像とイベントストリームを処理するための新しいスパイクニューラルネットワーク(SNN)の設計を提案する。
我々は,MNIST,Fashion-MNIST,CIFAR-10,N-MNISTにまたがるアーキテクチャを実験的に検証し,高い分類性能を実現した。
活動予算分析により、遅延または弱いスパイク事象を除去してもネットワークは高い精度を維持していることが示された。
論文 参考訳（メタデータ） (2026-09-29T08:55:12Z) - StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。
オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。
動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
論文 参考訳（メタデータ） (2026-08-15T09:31:29Z) - TIE: Time Interval Encoding for Video Generation over Events [50.66585165263848]
ディレクタースタイルのプロンプト、ロボットアクション予測、インタラクティブなビデオエージェントは、同時イベントに対する時間的根拠を要求する。
現代のビデオジェネレータは、ポイントワイドな位置エンコーディングを通して、タイムを離散的なポイントとして表現する。
Time Interval TIEは、プラグイン・アンド・プレイ・インターバル・アウェアの一般化である。
論文 参考訳（メタデータ） (2026-05-11T13:23:14Z) - Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA [8.191149161025198]
継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。
Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることで、パラメータの衝突につながる。
Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
論文 参考訳（メタデータ） (2026-04-14T09:59:32Z) - CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。
CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。
超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
論文 参考訳（メタデータ） (2026-04-05T20:13:22Z) - MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。
彼らは列車の干渉ミスマッチに悩まされている。
本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:39:56Z) - SemanticALLI: Caching Reasoning, Not Just Responses, in Agentic Systems [4.029672905329379]
PMGのマーケティングインテリジェンスプラットフォームのパイプライン対応アーキテクチャであるSemanticALLIを紹介する。
生成をAIR(Analytic Intent Resolution)とVS(Analytic Intent Synthesis)に分解することで、SemanticALLIは中間表現(IR)を第一級のキャッシュ可能なアーティファクトに構造化した。
我々の構造的アプローチは、83.10%のヒット率を達成するための追加のステージである可視化合成ステージを可能にし、4,023 LLMコールを2.66msで通過させる。
論文 参考訳（メタデータ） (2026-01-22T19:42:21Z) - Spatio-Temporal Cluster-Triggered Encoding for Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は視覚情報を処理し、視覚情報を効率的に処理する。
レート符号化、ポアソン符号化、時間対一スパイク(TTFS)といった既存の符号化方式は、しばしば空間的関係を無視し、時間的に矛盾するスパイクパターンをもたらす。
本稿では,局所密度を利用して空間領域と時間領域のセマンティック構造を保存する,クラスタベースの新しい符号化手法を提案する。
論文 参考訳（メタデータ） (2025-11-11T17:15:08Z) - Unified Static and Dynamic Network: Efficient Temporal Filtering for Video Grounding [56.315932539150324]
ビデオとテキスト/オーディオクエリ間の意味的関連を学習するために,Unified Static and Dynamic Network (UniSDNet) を設計する。
我々のUniSDNetは、NLVG(Natural Language Video Grounding)タスクとSLVG(Spoke Language Video Grounding)タスクの両方に適用できます。
論文 参考訳（メタデータ） (2024-03-21T06:53:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。