論文の概要: ReLaDrift: Recurrent Language Generation via Drifting for Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2610.23225v1
• Date: Fri, 16 Oct 2026 09:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.859763
• Title: ReLaDrift: Recurrent Language Generation via Drifting for Test-Time Scaling
• Title（参考訳）: ReLaDrift: テスト時間スケーリングのためのドリフトによるリカレント言語生成
• Abstract要約: ドリフト(ReLaDrift)によるリカレント言語生成を提案する。 共有ドリフトモデルを用いて、ノイズから初期ドラフトを生成し、連続的な潜在空間で反復的に改善する。 Sudoku HardとGSM8Kでは、これらの反復世代のアプローチと比較して、競争力や優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 16.21023293204606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Drifting Models generate a sample with a single function evaluation, making them attractive for fast parallel language generation, but their one-step formulation does not support iterative refinement. We propose Recurrent Language Generation via Drifting (ReLaDrift), which uses a shared Drifting Model to generate an initial draft from noise and iteratively refine it in a continuous latent space. We train this recurrence by sampling the number of rounds and applying the drifting loss only at the final round, stopping gradients through preceding rounds so that only one round requires backpropagation. Unlike the one-step Drifting Model, whose accuracy does not improve when iterated, ReLaDrift enables a trade-off between test-time computation and generation quality, as diffusion and flow language models do. On Sudoku Hard and GSM8K, it achieves competitive or superior performance compared with these iterative-generation approaches across a range of inference budgets. Our code is available at https://github.com/Yuki-Ots/ReLaDrift
• Abstract（参考訳）: ドリフトモデルでは単一関数評価でサンプルを生成するため、高速並列言語生成には魅力的なが、その一段階の定式化は反復的洗練をサポートしない。 本稿では、共用ドリフトモデルを用いて、ノイズから初期ドラフトを生成し、連続的な潜伏空間で反復的に改善するリカレント言語生成法(ReLaDrift)を提案する。 我々は、この繰り返しを、ラウンド数をサンプリングし、最終ラウンドのみにドリフト損失を適用して訓練し、前のラウンドで勾配を停止し、1ラウンドだけがバックプロパゲーションを必要とするようにした。 1ステップのドリフトモデルとは異なり、ReLaDriftは拡散とフロー言語モデルのように、テスト時間計算と生成品質の間のトレードオフを可能にする。 Sudoku HardとGSM8Kでは、様々な推論予算にまたがるこれらの反復世代アプローチと比較して、競争力や優れたパフォーマンスを達成する。 私たちのコードはhttps://github.com/Yuki-Ots/ReLaDriftで利用可能です。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Distilled Continuous Diffusion Language Models Can Write Code in Few Steps---or One [16.38284188874483]
  コード生成のための0.7B連続拡散言語モデルであるPlaidQを紹介する。 以上の結果から,PlaidQの軌道は数段階にのみ積極的に蒸留できることが示唆された。 これらの結果は、数ステップのコード生成と1ステップのコード生成への実行可能なパスとして、継続的拡散を確立します。
  論文  参考訳（メタデータ） (2026-09-03T22:42:57Z)
• DriftXpress: Faster Drifting Models via Projected RKHS Fields [7.80855192041271]
  DriftXpressは、RKHS場に基づくドリフトモデルの加速定式化である。 原ドリフトフィールドのアトラクション・反発構造を保ちながら, フィールド評価のコストを低減させる。 画像生成ベンチマーク全体では、DriftXpressは標準的なドリフトに匹敵するFIDを実現し、ウォールクロックのトレーニングコストを削減している。
  論文  参考訳（メタデータ） (2026-05-12T14:26:31Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• ReDi: Efficient Learning-Free Diffusion Inference via Trajectory Retrieval [68.7008281316644]
  ReDiは学習不要なRetrievalベースの拡散サンプリングフレームワークである。 ReDi はモデル推論効率を 2 倍高速化することを示した。
  論文  参考訳（メタデータ） (2023-02-05T03:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。