論文の概要: Safety as a Budget: Calibrating the Control Channel of Constrained GRPO for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.16628v1
- Date: Thu, 12 Nov 2026 11:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.451127
- Title: Safety as a Budget: Calibrating the Control Channel of Constrained GRPO for Vision-Language Models
- Title(参考訳): 予算としての安全:ビジョンランゲージモデルのための制約付きGRPOの制御チャネルの校正
- Abstract要約: 強化学習は、視覚言語モデルに有害な画像テキスト要求を減らすように教えるが、結果がどの程度安全かは間接的に設定される。
安全を有害な援助率と過剰な拒絶率の予算として定め、GRPO内のラグランジュ乗算器が原価としてオフ・ザ・シェルフスコアラーで実施し、自然の修正であり、2回失敗する。
2チャンネルの制約されたGRPO修復は、基本報酬は、グループ内比較の生スコアを保ち、ペナルティと制約推定は、判定ラベル付きトレーニング応答に適合したモノトーンマップを通過する。
- 参考スコア(独自算出の注目度): 31.56554641418146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning can teach vision-language models (VLMs) to decline harmful image-text requests, but how safe the result becomes is set indirectly, through reward weights found by trial runs. Stating safety as budgets on the rate of harmful assistance and the rate of over-refusal, enforced by Lagrange multipliers inside GRPO with an off-the-shelf scorer as the cost, is the natural fix, and it fails twice. The multiplier compares the scorer's mean with the budget, and scorers built for ranking get the mean wrong: a fixed-point analysis shows that the mean bias, not the budget, then decides whether the multiplier settles, saturates or switches off. And standard GRPO standardizes the penalized reward within each group, which cancels the multiplier before it reaches the gradient. Two-channel constrained GRPO repairs both: the base reward keeps the raw score for the within-group comparison, the penalty and the constraint estimate pass through a monotone map fitted on judge-labeled training responses, and the advantage keeps the multiplier. On a Qwen3-VL-2B policy with a training-free readout of an open 4B model as the scorer, held-out harm on 1,037 adversarial prompts falls from 8.9% under standard GRPO to 4.8%, lower in every seed, where the uncalibrated budget gives 7.6%; over-refusal stays at most 2% on 400 benign queries and MMBench is unchanged. The gain is largest where the intent sits in the image (10.1% -> 5.1%) and grows on the unseen HADES benchmark (28.9% -> 12.8%). Order-preserving distortions of the scores reproduce each predicted controller state in every seed, and the results hold under a map fitted on another judge's labels, an image-reading judge and a human audit.
- Abstract(参考訳): 強化学習は視覚言語モデル(VLM)に有害な画像テキスト要求を減らすように教えるが、試行錯誤によって得られる報酬の重みによって、結果がどれだけ安全かは間接的に設定される。
安全を有害な援助率と過剰な拒絶率の予算として定め、GRPO内のラグランジュ乗算器が原価としてオフ・ザ・シェルフスコアラーで実施し、自然の修正であり、2回失敗する。
固定点解析では、予算ではなく平均偏差が示され、乗算器が落ち着いたか、飽和したか、スイッチオフしたかが決定される。
そして標準のGRPOは各群内のペナル化報酬を標準化し、勾配に達する前に乗算器をキャンセルする。
基本報酬はグループ内比較の生スコアを保ち、ペナルティと制約推定は判定ラベル付きトレーニング応答に適合したモノトーンマップを通過し、利点は乗算器を維持する。
Qwen3-VL-2BのQwen3-VL-2Bポリシーでは、オープン4Bモデルをスコアとしてトレーニングなしで読み取ると、1,037の敵のプロンプトが8.9%から4.8%に低下する。
画像内にあるインテント(10.1% -> 5.1%)が最も多く、見えないHADESベンチマーク(28.9% -> 12.8%)で成長している。
スコアの順序保存歪みは、各シードで予測されたコントローラ状態を再現し、結果は、他の審査員のラベル、画像読取審査員、人間監査に適合した地図の下に保持する。
関連論文リスト
- Robustness Within a Fairness Budget: Parity Frontiers and Equal-Opportunity Reversal [1.1049608786515839]
アドリアリトレーニングは攻撃中の予測パフォーマンスを保護しますが、どのように決定が保護されたグループに分散されるかは決定しません。
対人リスク最小化(PGD)として二項分類を定式化する。
平均8つのモデル攻撃経路にまたがって、サンプル予算経路は厳密にDPDと精度を指示し、平均符号付き同値差(EOpp)を反転させる。
論文 参考訳(メタデータ) (2026-11-11T21:37:41Z) - ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。
GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。
限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。
ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
論文 参考訳(メタデータ) (2026-10-17T07:19:05Z) - RELACE: retrospective likelihood-based action credit estimation for long-horizon language agents [1.8552770604791606]
RELACEは,反省的行動評価と状態条件の利点推定を統合した,批判のないフレームワークである。
Qwen2.5-1.5B-InstructとQwen2.5-7B-InstructによるALFWorldとWebShopの実験は、GRPO、GiGPO、HCAPOよりも大幅に改善された。
論文 参考訳(メタデータ) (2026-10-05T20:19:04Z) - Baszta: Data-Centric Fine-Tuning of a Polish Multi-Label Safety Classifier [0.0]
ポーランドのコンテンツセーフティ分類器を5つのカテゴリにまたがって細調整したアレグロ/ハーバート・ベース・ケースド(124M)を開発した。
我々は,共有分布Gadzi Jzykベンチマークを用いて,ビエリクガード(Sjka)に対する結果モデルの評価を行った。
論文 参考訳(メタデータ) (2026-09-24T09:05:28Z) - Speculative Evaluation of Stochastic LLMs [48.902430583833585]
投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。
HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。
1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
論文 参考訳(メタデータ) (2026-09-23T09:20:22Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳(メタデータ) (2026-06-03T17:06:49Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳(メタデータ) (2026-05-28T18:20:32Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works [19.92945464084119]
Group Relative Policy Optimization (GRPO) は、検証可能な報酬からの強化学習のための標準アルゴリズムである。
我々は、真の退化率は、常にジェンセンの不等式によるベルヌーイ予想を超えることを証明している。
固定参照符号の利点である$A=2r-1$は、グループ内の少なくとも1つのサンプルが成功する確率を高めて、pass@$G$失敗降下を実行することを示す。
論文 参考訳(メタデータ) (2026-05-08T12:58:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。