論文の概要: DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.35201v1
• Date: Mon, 26 Oct 2026 10:54:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.833982
• Title: DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models
• Title（参考訳）: DTCA:拡散言語モデルにおける強化学習のためのトークンクレジット割り当て
• Abstract要約: Denoising Token Credit Assignment (DTCA)は、拡散言語モデルの強化学習におけるトークンレベルの信用割当のためのフレームワークである。 DTCAはトークンコミット後のマスクされた位置の予測信頼度の改善を測定することでトークンコントリビューションを推定する。 LLaDA-8B-Instructの実験から、DTCAは世代別予算の数学的推論性能を一貫して改善することが示された。
• 参考スコア（独自算出の注目度）: 32.779386379485715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) generate text through iterative denoising, enabling bidirectional context modeling and parallel token refinement. Recent studies have applied reinforcement learning (RL) to DLMs and improved their reasoning performance. However, the iterative denoising process makes credit assignment more challenging, as final outcome rewards provide limited information about how different tokens contribute to the final output. In this paper, we propose Denoising Token Credit Assignment (DTCA), a framework for token-level credit assignment in reinforcement learning for diffusion language models. DTCA estimates token contributions by measuring the improvement in prediction confidence of remaining masked positions after token commitment and groups these signals according to part-of-speech (POS) categories. These contribution weights are used to select informative denoising timesteps and assign token-level learning signals during RL training. DTCA further calibrates these learning signals according to token-level entropy changes induced by policy updates. Experiments on LLaDA-8B-Instruct show that DTCA consistently improves mathematical reasoning performance across different generation budgets, with gains of up to 9.0 points on MATH500 and 5.3 points on GSM8K over the base model.
• Abstract（参考訳）: 拡散言語モデル(DLMs)は、双方向のコンテキストモデリングとパラレルトークンの洗練を可能にする反復的記述を通じてテキストを生成する。 近年、強化学習(RL)をDLMに適用し、推論性能を改善している。 しかし、最終的な結果報酬は、異なるトークンが最終的なアウトプットにどのように貢献するかについての限定的な情報を提供するため、反復的なデノベーションプロセスにより、クレジットの割り当てがより困難になる。 本稿では,拡散言語モデルの強化学習におけるトークンレベルクレジット割り当てのためのフレームワークであるDenoising Token Credit Assignment (DTCA)を提案する。 DTCAはトークンコミット後のマスク位置の予測信頼度の向上を測定してトークンコントリビューションを推定し,POS(Part-of-speech)カテゴリに従ってこれらのシグナルをグループ化する。 これらのコントリビューションウェイトは、情報伝達時間ステップを選択し、RLトレーニング中にトークンレベルの学習信号を割り当てるために使用される。 DTCAは、ポリシー更新によって引き起こされるトークンレベルのエントロピー変化に応じて、これらの学習信号を校正する。 LLaDA-8B-Instructの実験では、DTCAは様々な世代予算における数学的推論性能を一貫して改善し、MATH500では最大9.0ポイント、GSM8Kでは5.3ポイント向上した。

関連論文リスト

• Backpropagating Verifier Rewards Through Continuous Flow Language Models [7.517070288522858]
  強化学習は自己回帰および離散拡散言語モデルの推論を大幅に改善した。 継続的トークンの埋め込みを生成する言語モデルは、強力な代替手段として浮上している。 本稿では,連続フロー言語モデルのためのポストトレーニングフレームワークであるメソッドを提案する。
  論文  参考訳（メタデータ） (2026-10-13T19:12:33Z)
• Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning [5.454773103061359]
  TokenUnlearnはトークンレベルの属性フレームワークで、クリティカルトークンを特定し、選択的にターゲットする。 提案手法は,マスキングによる知識認識信号とエントロピー認識信号を組み合わせて,正確なトークン選択のための重要スコアを得る。
  論文  参考訳（メタデータ） (2026-05-01T02:59:03Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
  本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。 GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。 言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-20T12:51:11Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。