論文の概要: Don't Let It Fade: Preserving Edits in Diffusion Language Models via Token Timestep Allocation

• arxiv url: http://arxiv.org/abs/2510.26200v1
• Date: Thu, 30 Oct 2025 07:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.694648
• Title: Don't Let It Fade: Preserving Edits in Diffusion Language Models via Token Timestep Allocation
• Title（参考訳）: Don't Let it fade: Token Timestep Allocationによる拡散言語モデルの編集保存
• Authors: Woojin Kim, Jaeyoung Do,
• Abstract要約: 均一な更新とコンテキスト更新がタイムステップ間でトークンレベルの変動を誘発する更新忘れについて説明する。 token Timestep Allocation (TTA) を提案する。これはトークンのタイムステップごとのスケジュールによって、ソフトでセマンティックなトークンの順序付けを実現する。
• 参考スコア（独自算出の注目度）: 9.670831676453673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While diffusion language models (DLMs) enable fine-grained refinement, their practical controllability remains fragile. We identify and formally characterize a central failure mode called update forgetting, in which uniform and context agnostic updates induce token level fluctuations across timesteps, erasing earlier semantic edits and disrupting the cumulative refinement process, thereby degrading fluency and coherence. As this failure originates in uniform and context agnostic updates, effective control demands explicit token ordering. We propose Token Timestep Allocation (TTA), which realizes soft and semantic token ordering via per token timestep schedules: critical tokens are frozen early, while uncertain tokens receive continued refinement. This timestep based ordering can be instantiated as either a fixed policy or an adaptive policy driven by task signals, thereby supporting a broad spectrum of refinement strategies. Because it operates purely at inference time, it applies uniformly across various DLMs and naturally extends to diverse supervision sources. Empirically, TTA improves controllability and fluency: on sentiment control, it yields more than 20 percent higher accuracy and nearly halves perplexity using less than one fifth the steps; in detoxification, it lowers maximum toxicity (12.2 versus 14.5) and perplexity (26.0 versus 32.0). Together, these results demonstrate that softened ordering via timestep allocation is the critical lever for mitigating update forgetting and achieving stable and controllable diffusion text generation.
• Abstract（参考訳）: 拡散言語モデル(DLM)は微細な精細化を可能にするが、実用的な制御性は脆弱である。 我々は,一様および文脈に依存しない更新によって時間経過のトークンレベルの変動が生じ,先行する意味的編集が消去され,累積的精錬プロセスが破壊され,フラレンシとコヒーレンスが低下する「更新忘れ」と呼ばれる中心的障害モードを同定し,正式に特徴付ける。 この障害は、一様かつコンテキストに依存しない更新から生じるため、効果的な制御は明示的なトークンの順序付けを要求する。 本稿では,トークン毎のスケジュールに従って,ソフトかつセマンティックなトークン順序付けを実現するToken Timestep Allocation (TTA)を提案する。 このタイムステップベースの順序付けは、タスク信号によって駆動される固定ポリシーまたは適応ポリシーのいずれかとしてインスタンス化することができ、それによって幅広い改善戦略をサポートする。 推論時に純粋に動作するため、様々なDLMに一様に適用され、様々な監督ソースに自然に拡張される。 経験的に、TTAは制御性と流速を向上し、感情制御では、20%以上の精度が得られ、約半減期は1歩未満でパープレキシティが得られ、解毒では最大毒性(12.2対14.5)とパープレキシティ(26.0対32.0)が低下する。 これらの結果から,時刻割当による軟化順序付けが更新の忘れを緩和し,安定かつ制御可能な拡散テキスト生成を実現するための重要なレバーであることが示唆された。

関連論文リスト

• Progressive Refinement Regulation for Accelerating Diffusion Language Model Decoding [18.99795632160924]
  本稿では, 軌道場改良制御フレームワークであるemphProgressive Refinement Regulation (PRR)を提案する。 PRRは軽量なトークンワイドコントローラを学習し、温度ベースの分布整形による精細化を調節する。 実験の結果,PRRは生成品質を維持しながら拡散言語モデルのデコードを大幅に高速化することがわかった。
  論文  参考訳（メタデータ） (2026-03-04T19:04:22Z)
• Just on Time: Token-Level Early Stopping for Diffusion Language Models [0.0]
  拡散言語モデルは、しばしば計算的に非効率な反復的洗練を通じてテキストを生成する。 トレーニング不要でトークンレベルの早期停止アプローチを導入し,各位置における収束を独立に識別する。 これにより、タスク固有の微調整をせずに、適応的な各トーケン凍結が得られ、必要な拡散ステップの総数を大幅に削減する。
  論文  参考訳（メタデータ） (2026-02-11T18:44:04Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• $\mathcal{E}_0$: Enhancing Generalization and Fine-Grained Control in VLA Models via Continuized Discrete Diffusion [65.77755100137728]
  本稿では、量子化されたアクショントークンを反復的にデノケーションするアクション生成を定式化する、連続的な離散拡散フレームワークであるE0を紹介する。 E0は14の多様な環境において最先端のパフォーマンスを達成し、平均して10.7%強のベースラインを達成している。
  論文  参考訳（メタデータ） (2025-11-26T16:14:20Z)
• WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning [39.57157800995735]
  本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。 推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-22T07:33:00Z)
• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• SPAN: Continuous Modeling of Suspicion Progression for Temporal Intention Localization [26.07264704956791]
  本稿では,個別分類から連続回帰へ移行するSuspicion Progression Analysis Network (SPAN)を提案する。 SPANは低周波のケースでは2.74%のmAPゲインを達成し、微妙な行動変化を捉える優れた能力を示している。
  論文  参考訳（メタデータ） (2025-10-23T04:20:07Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Detoxifying Large Language Models via Autoregressive Reward Guided Representation Editing [77.75609817898035]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的なパフォーマンスを示してきたが、有害なコンテンツの生成には弱いままである。 textscAutoregressive textscReward textscGuided textscRe presentation textscEditing (ARGRE)を提案する。 ARGREは遅延表現空間内の毒性遷移を明示的にモデル化し、安定かつ正確な報酬誘導編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-24T03:40:32Z)
• BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。 テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。 我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
  論文  参考訳（メタデータ） (2025-07-11T14:02:54Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
  大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。 セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
  論文  参考訳（メタデータ） (2025-05-18T10:20:59Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR [46.69852287267763]
  我々は,MoChAが早期にトークンを発行することを奨励するために,単純なアライメントフリーの正規化手法であるStableEmitを提案する。 以上の結果から,StableEmitは認識誤差と発光遅延を同時に低減することがわかった。
  論文  参考訳（メタデータ） (2021-07-01T17:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。