論文の概要: FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models

• arxiv url: http://arxiv.org/abs/2608.26676v1
• Date: Thu, 27 Aug 2026 06:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.260154
• Title: FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models
• Title（参考訳）: FOCUS & RePAIR:大規模言語モデルのためのToken-Level Guidanceによるテキスト・デジェネレーションの緩和
• Abstract要約: プルーニングは大規模言語モデル(LLM)を圧縮するための実践的アプローチである 本稿では,復号化を動的プロセスとして見ることによって,この障害モードのトークンレベル解析を行う。 本研究の目的は,2つのトークンレベルの指導目標を提案することである。
• 参考スコア（独自算出の注目度）: 3.1974216220560816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is a practical approach to compress large language models (LLMs), but it can amplify text degeneration, especially repetition loops, even when perplexity and task accuracy remain largely unchanged. In this work, we present a token-level analysis of this failure mode by viewing decoding as a dynamical process that enters and persists in a small set of recurrent contexts. Our analysis decomposes degeneration into loop entry risk and loop persistence, and shows that persistence is controlled by the escape mass assigned to plausible alternatives within the token sampling set. Motivated by these findings, we propose two token-level guidance objectives for post-pruning fine-tuning. FOCUS reweights distillation toward high-confidence teacher regions to suppress leakage, while RePAIR uses onset-centered positive/negative continuation pairs with a margin loss to promote plausible alternatives and prevent early commitment to repetition loops. Experiments on open-ended continuation and instruction-based generation show that both methods consistently reduce repetition and improve generation quality.
• Abstract（参考訳）: プルーニングは、大きな言語モデル(LLM)を圧縮する実践的なアプローチであるが、テキストのデジェネレーション、特に繰り返しループを増幅することができる。 本研究では,復号化を動的プロセスとして見ることによって,この障害モードのトークンレベル解析を行う。 本分析では, 劣化をループエントリーリスクとループ持続性に分解し, トークンサンプリングセット内の可塑性代替物に割り当てられたエスケープ質量によって持続性が制御されていることを示す。 本研究の目的は,2つのトークンレベルの指導目標を提案することである。 FOCUSは、高信頼の教師領域への蒸留を重み付けし、リークを抑制する一方、RePAIRはオンセット中心の正/負の継続ペアをマージン損失で使用し、妥当な代替を推進し、繰り返しループへの早期のコミットメントを防止する。 オープンエンド継続と命令ベースの生成の実験では、どちらの手法も繰り返しを一貫して減らし、生成品質を向上させることが示されている。

関連論文リスト

• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
  我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。 本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
  論文  参考訳（メタデータ） (2026-08-01T11:48:25Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
  MRI再建は本質的に不完全な逆問題である。 この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。 提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
  論文  参考訳（メタデータ） (2026-05-19T04:40:50Z)
• A Training-Free Regeneration Paradigm: Contrastive Reflection Memory Guided Self-Verification and Self-Improvement [8.401193963526236]
  オフライン処理型コントラストリフレクションメモリ(RM)を利用したトレーニングフリー再生パラダイムを提案する。 推論時に、RM誘導の自己検証を行い、続いて単一のRM誘導の再生を行い、反復補正とマルチサンプル選択の両方を避ける。 実験の結果,提案手法は計算コストを低く抑えつつ,先行手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-20T19:12:36Z)
• Reversible Diffusion Decoding for Diffusion Language Models [69.10149777322108]
  Reversible Diffusion Decoding (RDD) はブロックワイド拡散生成に可逆性を導入するデコーディングフレームワークである。 RDDは、逆プロセスの状態依存的な障害として停滞を検出し、以前のブロックへの効率的なバックトラックを可能にする。 実験により、RDDは最小の計算オーバーヘッドでベースラインよりも生成の堅牢性と品質を向上させることが示された。
  論文  参考訳（メタデータ） (2026-01-29T12:52:33Z)
• PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
  生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。 既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。 本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:38:46Z)
• Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall [28.243098541421755]
  決定論的潜在経路を介して情報を保存する,新規でシンプルな機構であるLoopholingを紹介する。 LDDMは、以前のベースラインよりも最大で61%高い生成的パープレキシティを著しく向上させる。 また、ループホリングはアイドルステップや振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示す。
  論文  参考訳（メタデータ） (2025-10-22T07:08:47Z)
• Path-Consistency with Prefix Enhancement for Efficient Inference in LLMs [3.6696973040141034]
  path-consistencyは推論遅延を最大40.5%改善し、タスク間のタスク精度を維持している。 実験の結果,経路整合性は,タスク間のタスク精度を維持しつつ,最大40.5%の推論遅延を改善することが示された。
  論文  参考訳（メタデータ） (2024-08-25T01:45:53Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。