論文の概要: Design Conditions for Intra-Group Learning of Sequence-Level Rewards: Token Gradient Cancellation

• arxiv url: http://arxiv.org/abs/2604.13088v1
• Date: Sat, 04 Apr 2026 02:47:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.674265
• Title: Design Conditions for Intra-Group Learning of Sequence-Level Rewards: Token Gradient Cancellation
• Title（参考訳）: シーケンス・レベル・リワードの群内学習のための設計条件:Token Gradient Cancellation
• Authors: Fei Ding, Yongkang Zhang, youwei wang, Zijian Zeng,
• Abstract要約: 本稿ではトークンレベルの信用代入の観点から,アルゴリズム設計に必要な条件を提案する。 報酬非関連ドリフトを防止するため、グループ内の目的はトークン更新間の勾配交換性を維持する必要がある。 交換性を阻害する2つの一般的なメカニズムが「非キャンセル」を構造規範にすることを示す。
• 参考スコア（独自算出の注目度）: 4.991741914408249
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In sparse termination rewards, intra-group comparisons have become the dominant paradigm for fine-tuning reasoning models via reinforcement learning. However, long-term training often leads to issues like ineffective update accumulation (learning tax), solution probability drift, and entropy collapse. This paper presents a necessary condition for algorithm design from a token-level credit assignment perspective: to prevent reward-irrelevant drift, intra-group objectives must maintain gradient exchangeability across token updates, enabling gradient cancellation on weak-credit/high-frequency tokens. We show that two common mechanisms disrupting exchangeability make "non-cancellation" a structural norm. Based on this, we propose minimal intra-group transformations to restore or approximate the cancellation structure in the shared token space. Experimental results demonstrate that these transformations stabilize training, improve sample efficiency, and enhance final performance, validating the value of this design condition.
• Abstract（参考訳）: スパース終了報酬では、グループ内比較が強化学習による微調整推論モデルの主要なパラダイムとなっている。 しかし、長期的なトレーニングは、しばしば非効率な更新蓄積(学習税)、解決確率のドリフト、エントロピー崩壊といった問題を引き起こす。 本稿では,トークンレベルの信用代入の観点からアルゴリズム設計に必要な条件について述べる。報酬非関係なドリフトを避けるため,グループ内の目的はトークン更新間の勾配交換性を維持し,弱いクレディット/高周波トークンの勾配キャンセルを可能にする必要がある。 交換性を阻害する2つの一般的なメカニズムが「非キャンセル」を構造規範にすることを示す。 これに基づいて、共有トークン空間におけるキャンセル構造を復元または近似するために、最小のグループ内変換を提案する。 実験により, これらの変換はトレーニングを安定させ, サンプル効率を向上し, 最終性能を向上し, 設計条件の妥当性を検証した。

関連論文リスト

• Token-Level Policy Optimization: Linking Group-Level Rewards to Token-Level Aggregation via Sequence-Level Likelihood [9.53011880338711]
  TEPOは,グループレベルの報酬を個々のトークンに関連付けるために,シーケンスレベルの可能性を活用する新しいトークンレベルのフレームワークである。 TEPOが数学的推論ベンチマークで最先端のパフォーマンスを達成することを示す実験結果が得られた。 また、GRPO/DAPOと比較して、トレーニングの安定性を著しく向上し、収束時間を50%削減する。
  論文  参考訳（メタデータ） (2026-04-14T13:50:31Z)
• Semi-structured multi-state delinquency model for mortgage default [7.0177704222466994]
  本研究では,半構造化離散時間多状態モデルを提案する。 このモデルは、容易に理解可能な構造付き付加予測器と、複雑な非線形性と高次相互作用をキャプチャする柔軟なニューラルネットワークコンポーネントを組み合わせる。
  論文  参考訳（メタデータ） (2026-03-27T11:22:22Z)
• Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives [22.29000001610794]
  Supervised Fine-Tuning (SFT) の標準的な負の対数構造は、均一なトークンレベルの重み付けを適用する。 この剛性は2重の障害モードを生成する: (i)低確率目標を過度に強調することは、ノイズの監督の勾配を増幅し、頑健な事前を妨害し、 (ii)一様重み付けは、モデルが既に自信を持っているときに弱いシャープニングを与える。 既存の方法は可塑性の解決に失敗し、不安定なジレンマがしばしば有害なジレンマとともに必要な学習信号を抑圧する。 パラメータ自由度を変調する動的エントロピーファインチューニング(DEFT)を導入する。
  論文  参考訳（メタデータ） (2026-02-11T22:56:43Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
  GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。 LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
  論文  参考訳（メタデータ） (2025-02-16T07:06:00Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Inversion dynamics of class manifolds in deep learning reveals tradeoffs underlying generalisation [0.0]
  非単調な傾向と対立する傾向のバランスをとる表現を最適化力学がいかに見つけるかを示す数値実験について報告する。 インバージョンでのトレーニングエラーはサブサンプリングの下で安定しており、ネットワークの初期化やオプティマイザを越えて、データ構造と(非常に弱い)アーキテクチャのプロパティとして特徴付けられる。
  論文  参考訳（メタデータ） (2023-03-09T10:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。