論文の概要: Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time

• arxiv url: http://arxiv.org/abs/2608.22761v1
• Date: Mon, 24 Aug 2026 03:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.880698
• Title: Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time
• Title（参考訳）: 自分自身をリピートするな - サンプリング時にVerbatimループを停止する
• Abstract要約: 大規模言語モデルはテキストを自動回帰的に生成するが、オープンエンド生成は動詞のループの傾向が強い。 我々は,現在の接尾辞を,コンテキストの早い段階で見られるスパンの正確な連続に拡張する場合にのみ,候補トークンをペナルティ化するサンプリングタイムロジット調整であるDon't Repeat Yourself (DRY)を提案する。 DRYは、llama、ExLlamaV2、text-generation-webuiなど、人気のあるオープンソース推論フレームワークで採用されている。
• 参考スコア（独自算出の注目度）: 7.915227100714005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models generate text autoregressively, but open-ended generation is prone to verbatim looping, in which models repeat spans already present in context. Standard defenses such as repetition, presence, and frequency penalties and n-gram blocking act on token recurrence rather than the sequential structure of a loop, and often suppress looping only at strengths that also degrade formatting or fluency. We propose Don't Repeat Yourself (DRY), a sampling-time logit adjustment that penalizes a candidate token only when generating it would extend the current suffix into an exact continuation of a span seen earlier in the context. Sequence breakers protect chat templates and formatting tokens. Across models from 1.5B to 120B parameters, nine prompt families, and a 600-pair human study, DRY reduces suffix-extension rate by 47% while improving lexical diversity. An intervention-matched placebo produces no comparable reduction, identifying suffix matching as the operative mechanism. On AWQ-quantized 70B and 120B models, DRY reduces loop rate by roughly half while preserving MT-Bench, MMLU, and GSM8K performance, whereas standard alternatives lose measurable ground. DRY has been adopted by popular open-source LLM inference frameworks including llama.cpp, ExLlamaV2, and text-generation-webui, highlighting its practical impact on text generation.
• Abstract（参考訳）: 大規模言語モデルは、テキストを自動回帰的に生成するが、オープンエンド生成は、コンテキスト内にすでに存在するモデルを反復する冗長ループの傾向にある。 繰り返し、存在、周波数のペナルティ、n-gramのブロックといった標準的な防御は、ループのシーケンシャルな構造ではなくトークンの繰り返しに作用する。 我々は,現在の接尾辞を,コンテキストの早い段階で見られるスパンの正確な連続に拡張する場合にのみ,候補トークンをペナルティ化するサンプリングタイムロジット調整であるDon't Repeat Yourself (DRY)を提案する。 シーケンスブレーカはチャットテンプレートとフォーマットトークンを保護します。 DRYは1.5Bから120Bのパラメータ、9つのプロンプトファミリー、600対の人間の研究から、接尾辞伸展率を47%削減し、語彙の多様性を改善した。 介入マッチングされたプラセボは同等の還元を起こさず、接尾辞マッチングを手術機構として同定する。 AWQ量子化70Bおよび120Bモデルでは、DRYはMT-Bench、MMLU、GSM8Kのパフォーマンスを維持しながら、ループレートを約半分削減する。 DRYは、llama.cpp、ExLlamaV2、テキストジェネレーション-webuiなど、人気のあるオープンソースのLLM推論フレームワークで採用されており、テキスト生成に対する実際の影響を強調している。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• AdaPLD: Adaptive Retrieval and Reuse for Efficient Model-Free Speculative Decoding [35.23072855575658]
  本稿では,検索とドラフト構築の両方を適応的に改善するトレーニングフリーな手法であるemphAdaPLDを提案する。 様々なベンチマークで、AdaPLDは目標モデルのフォワードパスを減らし、最大3.10タイムのデコードスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-04T06:09:44Z)
• Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models [8.02516998509823]
  過度に使われているパターンを検出し、排除するツールを提供するフレームワークであるAntislopを紹介します。 Antislop Samplerは、バックトラックを使用して、語彙を破壊することなく、推論時に不要な文字列を抑える。 FTPOは、GSM8K、MMLU、クリエイティブな書き込みタスクを含むクロスドメインのevalのパフォーマンスを維持したり改善したりしながら、90%のスロープ削減を実現している。
  論文  参考訳（メタデータ） (2025-10-16T18:22:22Z)
• DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models [13.242009624334996]
  DynaSpecは動的ショートリスト機構で、堅牢で、ドラフトをスピードアップし、さまざまなタスクにまたがって一般化する。 Llama-3-8Bでは許容される平均長を98.2%まで改善した。 文脈依存の選択を利用することで、DynaSpecは生成トークンの最大2.18倍、固定語彙アプローチの1.91倍を達成する。
  論文  参考訳（メタデータ） (2025-10-11T19:38:07Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak [51.8218217407928]
  大規模言語モデル (LLM) は、慎重に入力を行うと有害なコンテンツを生成する可能性がある。 本稿では,拡散モデルにインスパイアされたジェイルブレイク書き換えのためのエンドツーエンド生成手法であるDiffusionAttackerを紹介する。
  論文  参考訳（メタデータ） (2024-12-23T12:44:54Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。