論文の概要: Mechanism-Guided Selective Unlearning for RLVR-Induced Reasoning

• arxiv url: http://arxiv.org/abs/2606.19222v1
• Date: Wed, 17 Jun 2026 15:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.257435
• Title: Mechanism-Guided Selective Unlearning for RLVR-Induced Reasoning
• Title（参考訳）: RLVRによる推論のためのメカニズムガイド付き選択型アンラーニング
• Authors: Chenyu Zhou, Qiliang Jiang, Shuning Wu, Xu Zhou,
• Abstract要約: 本稿では,MAST(Mechanism-Aligned Selective Targeting)を提案する。 Qwen2.5-Math-1.5BとQwen3-1.7B-Baseの一致したSFT/RLVRチェックポイントでは、SFT-to-RLVRインクリメントはトークンレベルの勾配-ログ確率のSFT更新と大きく異なる。 MASTは、注目射影テンソルを、主元外エネルギー、更新等級、左次結合等級でランク付けし、トップランクのRLサブセットのみを更新する。
• 参考スコア（独自算出の注目度）: 5.864346468963738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose MAST (Mechanism-Aligned Selective Targeting), a mechanism-guided method for unlearning RLVR-induced reasoning with substantially lower collateral damage than standard full-parameter updates. In matched SFT/RLVR checkpoints on Qwen2.5-Math-1.5B and Qwen3-1.7B-Base, the SFT-to-RLVR increment differs sharply from the SFT update in token-level delta-log-probability, and full-parameter gradient ascent forgets only by damaging retain MATH and GSM8K. MAST ranks attention-projection tensors by off-principal energy, update magnitude, and forget-gradient coupling magnitude, then updates only the top-ranked subset. On the primary model, MAST induces statistically significant target forgetting (MATH forget 45/150 to 37/150; McNemar p=0.0078) while preserving GSM8K (+0.8 pp) and MATH retain (-0.5 pp). The advantage reproduces across seeds, NPO/SimNPO objectives, and Qwen3, where MAST preserves GSM8K while full-parameter unlearning collapses it.
• Abstract（参考訳）: MAST(Mechanism-Aligned Selective Targeting)は,RLVR誘導推論のメカニズム誘導手法である。 Qwen2.5-Math-1.5BとQwen3-1.7B-Baseの一致したSFT/RLVRチェックポイントでは、SFT-to-RLVRインクリメントはトークンレベルのデルタログ確率のSFT更新と大きく異なり、フルパラメータ勾配の上昇はMATHとGSM8Kの損傷によってのみ忘れられる。 MASTは、注目射影テンソルを、主元外エネルギー、更新等級、左次結合等級でランク付けし、トップランクのサブセットのみを更新する。 一次モデルでは、MATHはGSM8K (+0.8 pp) とMATH (-0.5 pp) を保持しながら統計的に重要なターゲットを忘れる(MATH forget 45/150 to 37/150; McNemar p=0.0078)。 この利点は種子、NPO/SimNPO目的物、Qwen3にまたがって再現され、MASTはGSM8Kを保ち、フルパラメータのアンラーニングは崩壊する。

関連論文リスト

• GQA-μP: The maximal parameterization update for grouped query attention [64.99972873396649]
  グループクエリアテンション(GQA)のためのPスケールの導出方法を示す。 また,GQA繰り返しハイパーパラメータ間での学習速度の伝達を示すことによって,理論的導出の有効性を示す。
  論文  参考訳（メタデータ） (2026-05-14T18:03:16Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration [48.446476072756276]
  トレーニング不安定性は、大規模言語モデルの事前トレーニングにおいて依然として重要な課題である。 我々は,5MナノGPTモデルにおけるトレーニング失敗をP$で評価した。 安定なランクを回復するために行列手演算を周期的に適用する新しいノルムであるMSignを提案する。
  論文  参考訳（メタデータ） (2026-02-02T07:18:45Z)
• Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards [13.064343544668283]
  MR-RLVR(Masked-and-Reordered RLVR)を提案する。 MR-RLVRをQwen2.5-3BとDeepSeek-R1-Distill-Qwen-1.5Bで実装し,AIME24,AIME25,AMC23,MATH500で評価した。
  論文  参考訳（メタデータ） (2025-11-21T18:23:04Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• LoRA-Edge: Tensor-Train-Assisted LoRA for Practical CNN Fine-Tuning on Edge Devices [3.3365431084159156]
  CNNのオンデバイス微調整は、HAR(Human Activity Recognition)のようなエッジアプリケーションにおけるドメインシフトに対処するために不可欠である。 テンソルトレインアシストを用いた低ランク適応(LoRA)に基づくパラメータ効率細調整(PEFT)法であるLoRA-Edgeを提案する。 多様なHARデータセットとCNNバックボーンにわたって、LoRA-Edgeは、最大1.49%のパラメータを更新しながら、完全な微調整の4.7%の精度を達成する。
  論文  参考訳（メタデータ） (2025-11-05T14:24:56Z)
• Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
  第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。 We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
  論文  参考訳（メタデータ） (2025-11-04T17:22:22Z)
• Targeted Deep Architectures: A TMLE-Based Framework for Robust Causal Inference in Neural Networks [41.07059178065932]
  ネットワークのパラメータ空間に直接、TMLE(Targeted Likelihood Estimation)を直接埋め込む新しいフレームワークであるTDA(Targeted Deep Architectures)を提案する。 TDAはモデルパラメータを分割し、ターゲットの勾配に沿って反復的に更新する。 この手順は、一階偏差を除去し、有効な信頼区間を生成するプラグイン推定を与える。
  論文  参考訳（メタデータ） (2025-07-16T17:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。