論文の概要: Backpropagating Verifier Rewards Through Continuous Flow Language Models

• arxiv url: http://arxiv.org/abs/2610.19080v1
• Date: Tue, 13 Oct 2026 19:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.768736
• Title: Backpropagating Verifier Rewards Through Continuous Flow Language Models
• Title（参考訳）: 連続フロー言語モデルによる検証結果のバックプロパゲーション
• Abstract要約: 強化学習は自己回帰および離散拡散言語モデルの推論を大幅に改善した。 継続的トークンの埋め込みを生成する言語モデルは、強力な代替手段として浮上している。 本稿では,連続フロー言語モデルのためのポストトレーニングフレームワークであるメソッドを提案する。
• 参考スコア（独自算出の注目度）: 7.517070288522858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has substantially improved the reasoning of autoregressive and discrete-diffusion language models. Language models that generate continuous token embeddings are emerging as a strong alternative, but RL post-training for them remains understudied. We propose \method{}, a post-training framework for continuous flow language models. Such a model denoises token embeddings over multiple steps and decodes them into discrete tokens only at the last step. To obtain pathwise gradients, which backpropagate through continuous actions and have much lower variance than REINFORCE, we introduce a critic that estimates the value of intermediate token embeddings, bypassing the non-differentiable decoding step. The critic must also keep track of the value function as the policy changes; to this end, we design a critic that predicts a value from every token representation and improves policy optimization. Across four reasoning tasks, \method{} reliably improves a continuous flow language model through RL post-training and outperforms baseline methods of the same type.
• Abstract（参考訳）: 強化学習(RL)は自己回帰および離散拡散言語モデルの推論を大幅に改善した。 継続的トークンの埋め込みを生成する言語モデルは強力な代替手段として浮上しているが、RLのポストトレーニングはまだ検討されていない。 連続フロー言語モデルのためのポストトレーニングフレームワークである 'method{} を提案する。 このようなモデルは、複数のステップにまたがるトークンの埋め込みを識別し、最後のステップでのみ個別のトークンにデコードする。 連続的な動作を通じてバックプロパレートし,REINFORCEよりもはるかに低い分散を有する経路勾配を得るために,非微分可能復号ステップを回避し,中間トークン埋め込みの値を推定する批評家を紹介した。 批判者は、政策変更に伴う価値関数の追跡も行わなければならない。この目的のために、全てのトークン表現から価値を予測し、政策最適化を改善する批評家を設計する。 4つの推論タスク全体で、\method{}はRLポストトレーニングを通じて連続フロー言語モデルを確実に改善し、同じタイプのベースラインメソッドを上回っます。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
  我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T11:04:31Z)
• EntRGi: Entropy Aware Reward Guidance for Diffusion Language Models [42.41157160976886]
  本研究では,離散拡散言語モデルに対する報酬指導について検討する。 既存のアプローチでは、離散トークンを連続的な緩和に置き換えるか、ストレートスルー推定器のようなテクニックを採用する。 本稿では,報酬モデルから勾配を動的に調節するエントロピー対応リワードガイダンスについて紹介する。
  論文  参考訳（メタデータ） (2026-02-04T19:37:14Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought [37.53215651690168]
  思考の連鎖(CoT)は、ステップ思考を奨励することで、大きな言語モデル(LLM)の推論性能を向上させる。 有望ではあるが、CoTベースのアプローチは、しばしばコストのかかる事前トレーニングを必要とし、推論の進化に関する原則的なフレームワークを欠いている。 プリトレーニングを必要とせずにFlow CoTスタイルの推論を可能にする軽量な微調整フレームワークSCOUTを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:43:24Z)
• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [56.30231216917128]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Counterfactuals As a Means for Evaluating Faithfulness of Attribution Methods in Autoregressive Language Models [6.394084132117747]
  本稿では,自己回帰型言語モデルに対する帰属手法の忠実度を評価するために,反事実生成を利用する手法を提案する。 提案手法は, 流動性, 分散性, 分散性, 分散性, 評価プロトコルの信頼性を向上する。
  論文  参考訳（メタデータ） (2024-08-21T00:17:59Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。