論文の概要: Don't Let It Fade: Preserving Edits in Diffusion Language Models via Token Timestep Allocation

• arxiv url: http://arxiv.org/abs/2510.26200v1
• Date: Thu, 30 Oct 2025 07:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.694648
• Title: Don't Let It Fade: Preserving Edits in Diffusion Language Models via Token Timestep Allocation
• Title（参考訳）: Don't Let it fade: Token Timestep Allocationによる拡散言語モデルの編集保存
• Authors: Woojin Kim, Jaeyoung Do,
• Abstract要約: 均一な更新とコンテキスト更新がタイムステップ間でトークンレベルの変動を誘発する更新忘れについて説明する。 token Timestep Allocation (TTA) を提案する。これはトークンのタイムステップごとのスケジュールによって、ソフトでセマンティックなトークンの順序付けを実現する。
• 参考スコア（独自算出の注目度）: 9.670831676453673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While diffusion language models (DLMs) enable fine-grained refinement, their practical controllability remains fragile. We identify and formally characterize a central failure mode called update forgetting, in which uniform and context agnostic updates induce token level fluctuations across timesteps, erasing earlier semantic edits and disrupting the cumulative refinement process, thereby degrading fluency and coherence. As this failure originates in uniform and context agnostic updates, effective control demands explicit token ordering. We propose Token Timestep Allocation (TTA), which realizes soft and semantic token ordering via per token timestep schedules: critical tokens are frozen early, while uncertain tokens receive continued refinement. This timestep based ordering can be instantiated as either a fixed policy or an adaptive policy driven by task signals, thereby supporting a broad spectrum of refinement strategies. Because it operates purely at inference time, it applies uniformly across various DLMs and naturally extends to diverse supervision sources. Empirically, TTA improves controllability and fluency: on sentiment control, it yields more than 20 percent higher accuracy and nearly halves perplexity using less than one fifth the steps; in detoxification, it lowers maximum toxicity (12.2 versus 14.5) and perplexity (26.0 versus 32.0). Together, these results demonstrate that softened ordering via timestep allocation is the critical lever for mitigating update forgetting and achieving stable and controllable diffusion text generation.
• Abstract（参考訳）: 拡散言語モデル(DLM)は微細な精細化を可能にするが、実用的な制御性は脆弱である。 我々は,一様および文脈に依存しない更新によって時間経過のトークンレベルの変動が生じ,先行する意味的編集が消去され,累積的精錬プロセスが破壊され,フラレンシとコヒーレンスが低下する「更新忘れ」と呼ばれる中心的障害モードを同定し,正式に特徴付ける。 この障害は、一様かつコンテキストに依存しない更新から生じるため、効果的な制御は明示的なトークンの順序付けを要求する。 本稿では,トークン毎のスケジュールに従って,ソフトかつセマンティックなトークン順序付けを実現するToken Timestep Allocation (TTA)を提案する。 このタイムステップベースの順序付けは、タスク信号によって駆動される固定ポリシーまたは適応ポリシーのいずれかとしてインスタンス化することができ、それによって幅広い改善戦略をサポートする。 推論時に純粋に動作するため、様々なDLMに一様に適用され、様々な監督ソースに自然に拡張される。 経験的に、TTAは制御性と流速を向上し、感情制御では、20%以上の精度が得られ、約半減期は1歩未満でパープレキシティが得られ、解毒では最大毒性(12.2対14.5)とパープレキシティ(26.0対32.0)が低下する。 これらの結果から,時刻割当による軟化順序付けが更新の忘れを緩和し,安定かつ制御可能な拡散テキスト生成を実現するための重要なレバーであることが示唆された。

関連論文リスト

• SPAN: Continuous Modeling of Suspicion Progression for Temporal Intention Localization [26.07264704956791]
  本稿では,個別分類から連続回帰へ移行するSuspicion Progression Analysis Network (SPAN)を提案する。 SPANは低周波のケースでは2.74%のmAPゲインを達成し、微妙な行動変化を捉える優れた能力を示している。
  論文  参考訳（メタデータ） (2025-10-23T04:20:07Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Detoxifying Large Language Models via Autoregressive Reward Guided Representation Editing [77.75609817898035]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的なパフォーマンスを示してきたが、有害なコンテンツの生成には弱いままである。 textscAutoregressive textscReward textscGuided textscRe presentation textscEditing (ARGRE)を提案する。 ARGREは遅延表現空間内の毒性遷移を明示的にモデル化し、安定かつ正確な報酬誘導編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-24T03:40:32Z)
• BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。 テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。 我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
  論文  参考訳（メタデータ） (2025-07-11T14:02:54Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
  大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。 セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
  論文  参考訳（メタデータ） (2025-05-18T10:20:59Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR [46.69852287267763]
  我々は,MoChAが早期にトークンを発行することを奨励するために,単純なアライメントフリーの正規化手法であるStableEmitを提案する。 以上の結果から,StableEmitは認識誤差と発光遅延を同時に低減することがわかった。
  論文  参考訳（メタデータ） (2021-07-01T17:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。