論文の概要: The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards

• arxiv url: http://arxiv.org/abs/2609.13866v1
• Date: Sat, 12 Sep 2026 10:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.590348
• Title: The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards
• Title（参考訳）: フィルタ距離は安全批判的:群相関RLにおけるファントムアドバンテージ
• Abstract要約: グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。 我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
• 参考スコア（独自算出の注目度）: 1.667501390377158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-relative policy optimization (GRPO and descendants) can discard no-contrast rollout groups through dynamic sampling, while practical implementations expose a configurable filter metric. We identify and quantify a metric-predicate mismatch under composite shaped rewards. When filtering follows the shaped training score rather than the task outcome, all-fail groups retain nonzero within-group spread and pass the predicate; standard-deviation normalization then promotes shaping differences among failures to full-size phantom advantages. In a controlled GSM8K comparison (Qwen2.5-1.5B, LoRA), no filtering and shaped-score filtering end at EM 0.080 +/- 0.112 and 0.040 +/- 0.008, whereas binary-outcome filtering holds 0.754 +/- 0.005 across four runs per arm (three default-seed reruns and one seed-123 run; mean +/- sample SD). On verl's native recipe/dapo trainer, holding model, data, reward and trainer fixed and changing only the metric, the score arm requires no batch refill in any of 40 observed steps and ends at EM 0.160; the accuracy arm refills in 29/40 steps and ends at 0.763. Both use the same custom shaped-reward hook and unmodified trainer/filter code. Prior work established shaping-induced amplification and all-fail filtering; our contribution isolates the metric-predicate semantic mismatch and directly instruments native deletion/refill telemetry. Across tested positive coefficients lambda in {0.1, 0.3, 0.5}, unsafe arms collapse; exploratory one-run cells reproduce the failure at 1.5B/7B on MATH and under GSPO, while disabling standard-deviation normalization avoids the observed collapse. Filtering under a composite reward should use a task-outcome signal whose semantics are independent of shaping.
• Abstract（参考訳）: グループ相対的ポリシー最適化(GRPOと子孫)は動的サンプリングによってノンコントラストのロールアウトグループを捨てることができる。 我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。 フィルターがタスク結果よりも形状のトレーニングスコアに従うと、全欠陥群は非ゼロ内部のスプレッドを保持し、述語を通過させ、標準偏差正規化は失敗間の相違をフルサイズの幻の利点へと促進する。 制御された GSM8K 比較 (Qwen2.5-1.5B, LoRA) では、EM 0.080 +/- 0.112 と 0.040 +/- 0.008 でフィルタリングや整形フィルタは行われないが、バイナリアウトカムフィルタリングは、腕ごとの4回のランで 0.754 +/- 0.005 が成り立つ(3つのデフォルトシード再実行と1つのシード-123ラン、平均 +/-サンプルSD)。 バールのネイティブレシピ/ダポ・トレーナーでは、モデル、データ、報酬とトレーナーがメートル法のみを固定・変更し、スコアアームは40段のいずれかのステップでバッチリフィルを必要とせず、EM 0.160で終了し、精度の高いアームは29/40ステップでリフィルされ、0.763で終了する。 どちらも、カスタム形状のリワードフックと、修正されていないトレーナー/フィルタコードを使用している。 筆者らの貢献は, 計量述語的ミスマッチを分離し, ネイティブな削除/補充テレメトリを計測するものである。 検定された正の係数 lambda in {0.1, 0.3, 0.5}, unsafe arms collapse; Exploratory one-run cell repeat the failure at 1.5B/7B on MATH and under GSPO, while disabbling standard-deviation normalization is avoid the observed collapse。 複合報酬の下でのフィルタリングは、セマンティクスがシェーピングとは無関係なタスクアウトカム信号を使用するべきである。

関連論文リスト

• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics [8.465978346858842]
  CLIPのような基盤モデルは、視覚言語的類似性を通じて新しいカテゴリに一般化するオープン語彙オブジェクト検出器を可能にした。 スケールバイアスの発見は2つの効果の偏りのある混合であることを示す。 これらの結果から,画像レベルの基礎モデルを領域レベルの検出タスクに適用する上での基本的限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-13T01:33:18Z)
• Underwater Dead Reckoning with Deployable Situation-Triggered Covariance Scheduling [3.2548794659022398]
  本稿では,BlueROV2用適応ロバスト拡張カルマンフィルタについて述べる。 オンボードの確率的トリガーは、1つのエラー状態フィルタが連続的に実行される間、現在の動き状況を特定する。 トリガーが自信がある場合、フィルタは対応する事前校正プロセスおよび測定ノイズ行列のみに変化する。
  論文  参考訳（メタデータ） (2026-07-12T06:27:57Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Reframing preprocessing selection as model-internal calibration in near-infrared spectroscopy: A large-scale benchmark of operator-adaptive PLS and Ridge models [0.2609784101826761]
  本稿では,探索を1つのキャリブレーションステップに分解できる事例について検討する。 線形演算子適応キャリブレーションは、徹底的な前処理スクリーニングに匹敵する予測品質を与える。
  論文  参考訳（メタデータ） (2026-05-13T14:23:00Z)
• HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion [0.0]
  適応OPSECがLLMディレクティブとして実装可能な制御環境では、ピア・サスペクション・カスケード検出を反転させる。 我々は,シミュレータ,事前登録文書,凍結シナリオ,生テレメトリ,分析パイプラインをオープンソースライセンス下でリリースする。
  論文  参考訳（メタデータ） (2026-05-08T09:19:21Z)
• Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B [0.0]
  インストラクトチューニングされた小さなLLMは、最小の誘引の下で変性した言語的信頼を生み出す。 自信条件付き教師付き微調整と自己整合性に基づく目標が内部情報と音声読取のギャップを埋めるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-04-27T05:53:26Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• When Domain Pretraining Interferes with Instruction Alignment: An Empirical Study of Adapter Merging in Medical LLMs [0.6345523830122167]
  大規模言語モデルは、ドメイン適応と命令アライメントを組み合わせる際に驚くべきアダプタ干渉を示す。 医学LLMのための2段階のLORAパイプラインについて検討し、ドメイン指向事前トレーニング(PT)と教師付き微調整(SFT)を個別に訓練し、後にマージした。
  論文  参考訳（メタデータ） (2026-01-26T10:54:06Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。