論文の概要: Corrector Sampling in Language Models

• arxiv url: http://arxiv.org/abs/2506.06215v1
• Date: Fri, 06 Jun 2025 16:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.550508
• Title: Corrector Sampling in Language Models
• Title（参考訳）: 言語モデルにおけるコレクタサンプリング
• Authors: Itai Gat, Neta Shaul, Uriel Singer, Yaron Lipman,
• Abstract要約: 我々はResample-Previous-Tokens (RPT)と呼ばれる新しいサンプリング手法を提案する。 RPTは、以前生成されたテキストのウィンドウでトークンを反復的に再検討し、潜在的に置き換えることでエラーの蓄積を緩和する。 事前訓練された8Bパラメータモデルを100BのRTTで微調整すると、推論とコーディングのベンチマークで10%の改善が得られた。
• 参考スコア（独自算出の注目度）: 36.605030979361516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models accumulate errors due to their fixed, irrevocable left-to-right token generation. To address this, we propose a new sampling method called Resample-Previous-Tokens (RPT). RPT mitigates error accumulation by iteratively revisiting and potentially replacing tokens in a window of previously generated text. This method can be integrated into existing autoregressive models, preserving their next-token-prediction quality and speed. Fine-tuning a pretrained 8B parameter model with RPT for only 100B resulted in ~10% relative improvements on reasoning and coding benchmarks compared to the standard sampling.
• Abstract（参考訳）: 自動回帰言語モデルは、固定された、取り消せない左から右へのトークン生成のためにエラーを蓄積する。 そこで本研究では,Resample-Previous-Tokens (RPT) と呼ばれる新しいサンプリング手法を提案する。 RPTは、以前生成されたテキストのウィンドウでトークンを反復的に再検討し、潜在的に置き換えることでエラーの蓄積を緩和する。 この方法は既存の自己回帰モデルに統合することができ、その次の予測品質と速度を保っている。 事前訓練された8Bパラメータモデルを100BのRTTで微調整した結果、標準サンプリングと比較して推論とコーディングのベンチマークが約10%改善した。

関連論文リスト

• Text Generation Beyond Discrete Token Sampling [75.96920867382859]
  入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。 MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-20T18:41:46Z)
• Adaptive Rectification Sampling for Test-Time Compute Scaling [5.085583751997239]
  本稿では,大規模言語モデルを自己補正に導くために,適応整形サンプリング(AR-Sampling)を提案する。 我々のアプローチは、モデルがよりきめ細かいレベルで再考し、解の精度を向上することを可能にする。
  論文  参考訳（メタデータ） (2025-04-02T02:57:52Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Step-unrolled Denoising Autoencoders for Text Generation [17.015573262373742]
  本稿では,SUNDAE(Step-unrolled Denoising Autoencoder)というテキスト生成モデルを提案する。 SUNDAEはトークンの列に繰り返し適用され、ランダムな入力から始まり、収束するまで毎回改善される。 拡散法よりも少ないイテレーションで収束する単純な改良演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-13T16:00:33Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)
• Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior [53.69310441063162]
  本稿では,より自然な音響サンプルを生成できる離散潜在空間における逐次前処理を提案する。 本研究では,聴取試験,自動音声認識(ASR)性能の客観的指標,韻律特性の測定によるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T12:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。