論文の概要: Reward-Driven Learning under Prompt-Level Differential Privacy
- arxiv url: http://arxiv.org/abs/2610.07212v1
- Date: Mon, 05 Oct 2026 18:26:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.587131
- Title: Reward-Driven Learning under Prompt-Level Differential Privacy
- Title（参考訳）: プロンプトレベル差分プライバシー下での逆流駆動学習
- Abstract要約: 我々は、RLVRをプロンプトレベルの差分プライバシーの下で研究する。
プライバシレコードとして1つのプロンプトに対する応答のグループを取り、その勾配を集約し、プロンプトのコントリビューションを一度クリップし、ガウスノイズを追加し、更新間でのプライバシロスを構成する。
- 参考スコア（独自算出の注目度）: 3.6407434534706486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) trains a language model on problems that may themselves be confidential, and the trained model can reveal which problems it saw. We study RLVR under prompt-level differential privacy: the released weights must be (ε,δ)-differentially private with respect to the presence of any one training problem. Taking the group of responses to one prompt as the privacy record, our method aggregates their gradients, clips the prompt's contribution once, adds Gaussian noise, and composes the privacy loss across updates, so the budget depends on neither the number of responses per prompt nor the clipping norm; to our knowledge this is the first differential privacy guarantee for RLVR training. We train Qwen2.5-1.5B-Instruct with LoRA at a per-run budget of ε=8 and compare, on the same prompts and at the same budget, a control that removes only the reward signal and two private supervised fine-tuning recipes. The reward signal improves accuracy over the control by 2.65 points on MATH and 3.24 on GSM8K, in every seed; the improvement survives a format-robust scorer, at 1.3 points on MATH, and is not explained by response length. At the same budget the private model outperforms both supervised recipes on MATH and GSM8K by 2.3 to 3.8 points, retains 85--90% of the gain of non-private GRPO on these tasks, and on MATH the noise of an eightfold tighter budget costs at most 1.2 points. The reward effect also carries to CommonsenseQA, an exploratory non-mathematical task. Verifier feedback thus remains a usable learning signal under prompt-level privacy.
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、自分たちが秘密にしているかもしれない問題について言語モデルを訓練する。
我々は、RLVRをプロンプトレベルの差分プライバシーの下で研究する: 解放されたウェイトは、1つのトレーニング問題の存在に関して(ε,δ)差分プライベートでなければならない。
プライバシレコードとして1つのプロンプトに対するレスポンスのグループを取り、その勾配を集約し、プロンプトのコントリビューションをクリップし、ガウスノイズを追加し、更新間でのプライバシロスを構成するため、予算はプロンプト毎のレスポンス数にもクリッピング基準にも依存しません。
ラン当たりの予算がε=8のQwen2.5-1.5B-InstructをLoRAでトレーニングし、同じプロンプトと同じ予算で、報酬信号と2つの個人監督された微調整レシピだけを除去するコントロールを比較します。
報酬信号は、各種においてMATHの2.65ポイント、GSM8Kの3.24ポイントの制御精度を向上させる。
同じ予算で、民間モデルはMATHとGSM8Kの監督されたレシピを2.3から3.8ポイント、これらのタスクにおける非民間のGRPOの利益の85--90%、MATHでは8倍の厳しい予算コストを少なくとも1.2ポイントで上回っている。
報酬効果は、探索的な非数学的タスクであるCommonsenseQAにもたらされる。
したがって、検証者からのフィードバックは、プロンプトレベルのプライバシの下で使用可能な学習信号である。
関連論文リスト
- When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。
学習は、答えが振動し、正しさの証拠が広がる場所を給与する。
コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
論文 参考訳（メタデータ） (2026-06-29T19:33:42Z) - Self-CTRL: Self-Consistency Training with Reinforcement Learning [45.9704217495657]
自身の振る舞いを忠実に記述した言語モデル(LM)は、ユーザがより容易に監査、理解、信頼することができる。
本稿では,LMの自己説明と関連する入力に対する動作の一貫性を最適化する自己整合性学習(Self-CTRL)について述べる。
論文 参考訳（メタデータ） (2026-06-16T17:59:40Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision [50.61441331643804]
強化学習(Reinforcement Learning、RLVR)は、広く適用可能で強力であるが、訓練中に緩やかな監督しか提供しない二進的な報酬に依存している。
蒸留は、一般的に外部の教師や高品質なデモンストレーションを使って得られる、密集したトークンレベルの監督を提供する。
自己蒸留ゼロ(SD-Zero)は,RLよりもかなり訓練効率が高く,外部教師や高品質な実演を必要としない手法である。
論文 参考訳（メタデータ） (2026-04-13T19:46:55Z) - Controllable Reasoning Models Are Private Thinkers [74.40231123523115]
我々は,最終回答だけでなく,トレースの推論においても指示に従うためのトレーニングモデルを提案する。
推論トレースを明示的に制限した命令追従データセット上でモデルを微調整する。
その結果,推論モデルにおける指示追従行動の改善は,プライバシーを著しく向上させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-02-27T17:39:10Z) - Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models [0.0]
大規模言語モデル(LLM)は、しばしば幻覚的または検証不能なコンテンツを生成し、その信頼性を現実のドメインで損なう。
本研究は,知的謙虚を助長するために,正当性とともに棄権を明言する訓練パラダイムとして,検証リワードを用いた強化学習(RLVR)について検討する。
論文 参考訳（メタデータ） (2026-01-27T23:42:07Z) - GRPO Privacy Is at Risk: A Membership Inference Attack Against Reinforcement Learning With Verifiable Rewards [13.369116707284121]
Divergence-in-Behavior Attack (DIBA)は、Reinforcement Learning with Verifiable Rewards用に特別に設計された最初のメンバーシップ推論フレームワークである。
以上の結果から,DIBAは既存のベースラインを大きく上回り,約0.8AUC,高次TPR@0.1%FPRを達成した。
これは、RLVRにおけるプライバシーの脆弱性を体系的に分析する最初の研究であり、データ露出のトレーニングが行動トレースを通じて確実に推測できることを明らかにする。
論文 参考訳（メタデータ） (2025-11-18T01:51:34Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳（メタデータ） (2025-11-14T17:20:45Z) - Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である
近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。
我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
論文 参考訳（メタデータ） (2025-08-01T08:09:14Z) - An Experimental Study on Private Aggregation of Teacher Ensemble
Learning for End-to-End Speech Recognition [51.232523987916636]
差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。
本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
論文 参考訳（メタデータ） (2022-10-11T16:55:54Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳（メタデータ） (2022-10-07T08:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。