論文の概要: CoTA++: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective

• arxiv url: http://arxiv.org/abs/2610.23290v1
• Date: Fri, 16 Oct 2026 10:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.882698
• Title: CoTA++: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective
• Title（参考訳）: CoTA++:情報フローの観点からのdMLLMの反復曲線の理解
• Abstract要約: CoTA++はトレーニング不要のプラグイン・アンド・プレイフレームワークで、発端とする各ディスラプションに対処する。 CoTA++は、ロングレスポンスのサンプル繰り返し率を99.6%から17.0%に下げる。
• 参考スコア（独自算出の注目度）: 30.227704061058095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based multimodal large language models (dMLLMs) decode by iterative denoising with bidirectional attention, which precludes the standard autoregressive key--value cache. Practical deployments therefore rely on approximate caching that reuses intermediate states across denoising steps. Such caching, however, often makes a response repeat one token at adjacent positions in a run that breaks the sentence, a failure we term the \emph{Repeat Curse}. Tracing the context-token information flow reveals three disruptions. Within a step, caching disperses the attention that anchors a position on nearby context tokens. Across steps, similarity-based refresh is not staleness-aware, so some positions are decoded against stale key--value states. Across layers, the deep-layer entropy of the context fails to converge where repetition arises. We accordingly propose CoTA++, a training-free, plug-and-play framework that counteracts each disruption where it originates: Context-Token Attention Re-anchoring re-forms the attention routing against the current context, Decode-Aware Refresh reserves part of the cache's refresh budget for the positions about to be committed, and Context-Token Entropy-Guided Voting discounts the confidence of a position by the deep-layer entropy of its context, which reorders the unmasking. The three components act at non-overlapping stages of a decoding step and compose freely with existing dMLLMs and caches. Across three dMLLMs and two caching backends, CoTA++ reduces the sample repetition rate of long responses from up to 99.6\% to at most 17.0\%, recovers most of the accuracy lost to caching on nine benchmarks, and keeps the speedup of caching at under 15\% overhead, making approximate caching reliable for dMLLMs.
• Abstract（参考訳）: 拡散に基づくマルチモーダル大言語モデル (dMLLM) は、双方向の注意で反復的に記述することでデコードされる。 したがって、実際のデプロイメントは、デノベーションステップをまたいだ中間状態を再利用する近似キャッシングに依存する。 しかしながら、このようなキャッシュは、文を壊すランニングにおいて、隣接する位置で1つのトークンを繰り返し、失敗を \emph{Repeat Curse} と呼ぶ。 コンテキスト・トーケン情報の流れの追跡は3つの破壊を露呈する。 ステップ内では、キャッシュは、近くのコンテキストトークンに位置を固定する注意を分散させる。 ステップ全体では、類似性に基づくリフレッシュは安定度を意識していないため、いくつかの位置は古いキー値の状態に対してデコードされる。 層を越えて、コンテキストの深い層エントロピーは繰り返しが発生する場所で収束しない。 コンテキスト・トークン・アテンション (Context-Token Attention) が現在のコンテキストに対するアテンション・ルーティングを再フォーマットし、デコード・アウェア・リフレッシュ (Decode-Aware Refresh) がキャッシュのリフレッシュ・予算の一部をリザーブし、コンテキスト・トークン・エントロピー・ガイド付き投票 (Context-Token Entropy-Guided Voting) がコンテキストの深層エントロピーによる位置の信頼性を低下させ、アンマッシングをリフレッシュする。 3つのコンポーネントはデコードステップの非重複ステージで動作し、既存のdMLLMとキャッシュで自由に構成される。 3つのdMLLMと2つのキャッシュバックエンドで、CoTA++はロングレスポンスのサンプル繰り返し率を99.6\%から17.0\%に下げ、9つのベンチマークでキャッシュに失われる精度のほとんどを回復し、キャッシュの高速化を15\%以下に保ち、dMLLMに対して近似的なキャッシングを信頼できるものにしている。

関連論文リスト

• Time-Anchored Diffusion Language Models: Latent-Space Caching for Fast Generation [23.888445709104825]
  自己監督型アンカーは、そのようなターゲットを必要とせず、潜伏型アンカーを学習し再利用する。 我々は、このフレームワークを、事前訓練されたDLMをタイムアコライズするTADM:Post-trainと、事前訓練中に時間ベースのアンカーを学習するTADM:Pretrainingとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-29T16:16:26Z)
• Archer: Adaptive Reuse of Cached Hidden States for Efficient Rollback in Diffusion Language Models [28.20034213862415]
  拡散言語モデル(DLM)は反復的にシーケンスを洗練し、コンテキストが進化するにつれて、以前の予測を修正できる。 更新毎にグローバルコンテキストが変更され、プロンプト状態とレスポンス状態の両方が再コンパイルされる。 効率的なロールバック(アーチャー)のための隠れた状態の適応的再利用について紹介する。 Archerは、ロールバック可能なDLMのためのトレーニング不要なKVキャッシュ手法である。
  論文  参考訳（メタデータ） (2026-08-08T12:13:10Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• Context Tokens are Anchors: Understanding the Repetition Curse in dMLLMs from an Information Flow Perspective [40.28551750991027]
  キャッシュ機構は、しばしば望ましくない反復的なテキスト生成を導入する。 我々は情報フローのレンズを通して繰り返し生成を分析する。 繰り返しを緩和するプラグイン・アンド・プレイ方式である textbfCoTA を提案する。
  論文  参考訳（メタデータ） (2026-01-28T11:54:42Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。