論文の概要: Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models

• arxiv url: http://arxiv.org/abs/2510.15061v2
• Date: Tue, 21 Oct 2025 21:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:11.529586
• Title: Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models
• Title（参考訳）: Antislop: 言語モデルにおける反復パターンの同定と排除のための総合的なフレームワーク
• Authors: Samuel Paech, Allen Roush, Judah Goldfeder, Ravid Shwartz-Ziv,
• Abstract要約: 過度に使われているパターンを検出し、排除するツールを提供するフレームワークであるAntislopを紹介します。 Antislop Samplerは、バックトラックを使用して、語彙を破壊することなく、推論時に不要な文字列を抑える。 FTPOは、GSM8K、MMLU、クリエイティブな書き込みタスクを含むクロスドメインのevalのパフォーマンスを維持したり改善したりしながら、90%のスロープ削減を実現している。
• 参考スコア（独自算出の注目度）: 8.02516998509823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Widespread LLM adoption has introduced characteristic repetitive phraseology, termed "slop," which degrades output quality and makes AI-generated text immediately recognizable. We present Antislop, a comprehensive framework providing tools to both detect and eliminate these overused patterns. Our approach combines three innovations: (1) The Antislop Sampler, which uses backtracking to suppress unwanted strings at inference time without destroying vocabulary; (2) An automated pipeline that profiles model-specific slop against human baselines and generates training data; (3) Final Token Preference Optimization (FTPO), a novel fine-tuning method that operates on individual tokens, surgically adjusting logits wherever a banned pattern has appeared in an inference trace. We demonstrate that some slop patterns appear over 1,000x more frequently in LLM output than human text. The Antislop Sampler successfully suppresses 8,000+ patterns while maintaining quality, whereas token banning becomes unusable at just 2,000. Most importantly, FTPO achieves 90% slop reduction while maintaining or improving performance in cross-domain evals including GSM8K, MMLU, and creative writing tasks. In contrast, DPO suffers significant degradation in writing quality and lexical diversity despite achieving weaker suppression. We release all code and results under MIT license: https://github.com/sam-paech/auto-antislop.
• Abstract（参考訳）: 広範LLMの採用は、出力品質を低下させ、AI生成したテキストを即座に認識可能にする「slop」と呼ばれる特徴的反復句を導入している。 Antislopは、これらの過剰使用パターンを検出し、排除するツールを提供する包括的フレームワークである。 提案手法は,(1)語彙を損なうことなく不必要な文字列を推論時に抑制するアンティスロープサンプリング,(2)モデル固有のスロープを人間のベースラインに対してプロファイリングし,トレーニングデータを生成する自動パイプライン,(3)個々のトークンを操作する新しい微調整手法であるファイナルトークン選好最適化(FTPO)の3つを組み合わせたものである。 人間のテキストよりもLLM出力の1000倍以上の頻度でスロープパターンが現れることを示す。 Antislop Samplerは品質を維持しながら8000以上のパターンをうまく抑制するが、トークンの禁止はわずか2,000で利用できなくなる。 最も重要なことは、FTPOは、GSM8K、MMLU、クリエイティブな書き込みタスクを含むクロスドメインのevalのパフォーマンスを維持または改善しながら、90%のスロップダウンを達成することである。 対照的に、DPOはより弱い抑制を達成するにもかかわらず、書字品質と語彙の多様性が著しく低下する。 私たちはMITライセンス下ですべてのコードと結果をリリースします。

関連論文リスト

• The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models [48.073219761367184]
  複数出力の生成と複数ラウンドの反復のバランスをとるAPRパイプラインについて検討する。 3つのサイズ(1K, 30K, 65K)と2つのテクニック(フルファインチューニングとLoRA)を持つAPRデータセット上で各モデルを微調整する。 その結果,微調整データセットのごく一部(1%)しか使用せず,最大78%の改善が達成できた。
  論文  参考訳（メタデータ） (2025-05-05T18:06:51Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Obliviate: Efficient Unmemorization for Protecting Intellectual Property in Large Language Models [2.7174461714624805]
  本稿では,特定の配列の正確な複製を外科的に抑制する軽量な方法であるObliviateを紹介する。 Obliviateはまず記憶されたパスを特定し、次に各ターゲットトークンに対して、モデルの出力分布を最小限に調整する。 Obliviate を4つの一般的な 6-8B- パラメータモデル (LLaMA-3.1, LLaMA-3.1-インストラクト, Qwen-2.5, Yi-1.5) 上で, 合成ベンチマークと有機著作権抽出を用いて評価した。
  論文  参考訳（メタデータ） (2025-02-20T20:02:56Z)
• SuffixDecoding: Extreme Speculative Decoding for Emerging AI Applications [13.948608558319307]
  投機的復号化は、大規模言語モデル(LLM)推論の遅延を低減するために広く採用されている。 エージェントフレームワークは繰り返しの推論要求を送信し、その結果、長く予測可能な計算結果が得られる。 本稿では,効率的な接尾辞木を用いて長いトークン列をキャッシュする新しい手法であるemphSuffixDecodingを紹介する。
  論文  参考訳（メタデータ） (2024-11-07T18:49:33Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Beyond Black Box AI-Generated Plagiarism Detection: From Sentence to Document Level [4.250876580245865]
  既存のAI生成テキスト分類器は精度が限られており、しばしば偽陽性を生成する。 自然言語処理(NLP)技術を用いた新しい手法を提案する。 与えられた質問の複数のパラフレーズ付きバージョンを生成し、それを大きな言語モデルに入力し、回答を生成する。 本研究では,コサイン類似度に基づくコントラスト的損失関数を用いて,生成文と学生の反応とをマッチングする。
  論文  参考訳（メタデータ） (2023-06-13T20:34:55Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。