論文の概要: RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2610.42084v1
- Date: Fri, 30 Oct 2026 17:35:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.8551
- Title: RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
- Title(参考訳): RangeSWA:連続拡散言語モデルのためのトレーニング不要長外挿法
- Abstract要約: RangeSWAは連続拡散言語モデルのトレーニング不要長外挿法である。
本研究では、LandSWAが長文生成における生成的難易度とテキスト反復率を効果的に低減できることを示す。
- 参考スコア(独自算出の注目度): 21.506587656622443
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Continuous diffusion language models show promising potential in text generation tasks, but are prone to problems such as text repetition, semantic drift, and generation quality degradation when the generation length exceeds the training length. To address these challenges, we propose RangeSWA, a training-free length extrapolation method. The method combines local sliding-window attention, remote block summaries, and dynamic content retrieval to preserve local details and support long-range context access. In addition, generation degradation caused by length extrapolation is mitigated through positional remapping, conditioning attention correction, and denoising-stage-adaptive window scheduling. We conducted experiments on multiple continuous diffusion language models, and the results show that RangeSWA can effectively reduce generative perplexity and text repetition rates in long-text generation.
- Abstract(参考訳): 連続拡散言語モデルは、テキスト生成タスクにおいて有望なポテンシャルを示すが、生成長がトレーニング長を超えると、テキスト繰り返し、セマンティックドリフト、生成品質劣化などの問題が発生する。
これらの課題に対処するために、トレーニング不要長外挿法であるRangeSWAを提案する。
本手法は,局所的スライディングウィンドウアテンション,リモートブロックサマリー,動的コンテンツ検索と組み合わせて,局所的な詳細を保存し,長距離コンテキストアクセスをサポートする。
また、長さ外挿による生成劣化を、位置リマッピング、注意補正の条件付け、デノジングステージ適応ウィンドウスケジューリングにより緩和する。
本研究では,複数連続拡散言語モデルの実験を行い,LandSWAは長文生成における生成的難易度とテキスト反復率を効果的に低減できることを示した。
関連論文リスト
- Survival-Guided Length Control for Efficient Diffusion Language Models [15.49436655340166]
終端トークン上での離散時間生存問題として長さ選択をリキャストする。
既存のDLMに付加可能なプラグイン・トレーニング不要長予測器を提案する。
論文 参考訳(メタデータ) (2026-08-26T19:59:42Z) - AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳(メタデータ) (2026-08-03T17:59:50Z) - Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。
DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。
DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
論文 参考訳(メタデータ) (2025-08-01T17:56:07Z) - LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation [79.90766312484489]
回復蒸留(LongReD)による長期事前トレーニング
LongReDは、選択されたレイヤの隠れた状態をオリジナルのモデルから短いテキストで蒸留する。
一般的なテキストベンチマークの実験では、LongReDはモデルの短文性能を効果的に維持することを示した。
論文 参考訳(メタデータ) (2025-02-11T08:37:16Z) - Segment-Level Diffusion: A Framework for Controllable Long-Form Generation with Diffusion Language Models [12.446047799880587]
トークンレベルの拡散は、単語順依存を明示的にモデル化しない。
パッセージレベルの拡散は、長文の堅牢な表現を学習するのに苦労する。
拡散に基づくテキスト生成を促進するフレームワークであるSegment-Level Diffusionを提案する。
論文 参考訳(メタデータ) (2024-12-15T22:47:44Z) - Extending Context Window of Large Language Models via Semantic
Compression [21.35020344956721]
大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。
本稿では,テキストを6~8倍長大に一般化するセマンティック圧縮手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T07:04:33Z) - PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。
意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
論文 参考訳(メタデータ) (2023-06-05T01:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。