論文の概要: Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents?

• arxiv url: http://arxiv.org/abs/2609.24144v1
• Date: Mon, 21 Sep 2026 05:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.089526
• Title: Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents?
• Title（参考訳）: ラッキー・イズ・ノウ・スキル:ラッキーなロールアウトは、LLMエージェントのグループの相対的RLを助ける?
• Abstract要約: グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。 本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。 片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
• 参考スコア（独自算出の注目度）: 2.488251122211714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-relative reinforcement learning compares rollouts of the same prompt, but independent environment noise can obscure these comparisons. We study paired rollouts, which share an event-keyed noise schedule within each group while preserving each rollout's marginal distribution. Pairing removes the between-schedule component of reward-contrast variance, but need not reduce gradient variance. For one-sided grader noise, we derive an exact condition for reduction and give a counterexample in which reward contrasts improve while gradient variance increases. A controlled study trains a 2B tool-use agent under tool faults and grader flips, with three seeds per design. The protocol was registered with a disclosed, previously completed pilot. Under tool faults, pairing improves final noisy-test success by +5.1 percentage points on average, with all three seed differences positive, but misses the registered learning-curve criterion. The criterion is also missed under grader flips: the validation-AUC difference is +0.003 (95% interval [-0.029, +0.033]). A gradient probe on eight distinct checkpoints from two fault-trained trajectories finds lower mean-centered covariance traces under both noise types: 21 to 30% for grader flips and 40 to 63% for tool faults. These finite-sample measurements support the variance mechanism without establishing a general learning-speed benefit. The results distinguish improving reward comparisons, reducing estimator variance, and improving learning.
• Abstract（参考訳）: グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。 本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。 ペアリングは、報酬コントラスト分散のスケジュール成分を除去するが、勾配分散を減少させる必要はない。 片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。 制御された研究は、ツールフォールトとグレーダーフリップの下で2Bツール使用エージェントをトレーニングし、デザインごとに3つの種をトレーニングする。 プロトコルは公開され、以前に完成したパイロットで登録された。 ツールフォールトの下では、ペアリングは最終ノイズテストの成功を平均で+5.1ポイント改善し、3つのシード差は全て肯定的であるが、登録された学習曲線基準を見逃している。 検証とAUCの差は+0.003(95%間隔 [-0.029, +0.033])である。 2つの断層訓練軌道からの8つの異なるチェックポイント上の勾配調査では、両方のノイズタイプで平均中心の共分散トレースが低く、21～30%がグレードフリップ、40～63%がツールフォールトであることがわかった。 これらの有限サンプル測定は、一般的な学習速度の利点を確立することなく、分散メカニズムをサポートする。 その結果、報酬比較の改善、推定値のばらつきの低減、学習の改善を区別した。

関連論文リスト

• Mini-batch Sampling Strategies for Long-Tailed Image Classification: An Empirical Study on CIFAR-100-LT [14.948061712083865]
  実世界のデータセットは長い尾のクラス分布を示すことが多く、いくつかのヘッドクラスは多数のトレーニングサンプルを含むが、多くのテールクラスはわずかしか持たない。 長期画像分類のための4つのミニバッチサンプリング戦略の理論的および実証的な比較を行った。 CIFAR-100-LT上のResNet-32を3つの不均衡比(rho = 10, 50, 100)で制御条件下で評価する。
  論文  参考訳（メタデータ） (2026-09-14T21:28:57Z)
• Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity [0.0]
  我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。 これら3つの政策は平均累積差が低く、ウィンドウごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。 サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。
  論文  参考訳（メタデータ） (2026-09-09T06:39:03Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
  我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。 私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。 本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:57:43Z)
• When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning [0.0]
  コントラストフォワード(Contrastive Forward-Forward, CFF)学習は、教師付きコントラスト目標に対して、ビジョントランスフォーマーを層別に層状化する。 比較損失における正対辺のマージンは、類似度クランプの飽和により適用される。 対数確率の後にマージンを減じる別の定式化が、平均-上-正の還元の下で勾配ニュートラルであることを証明する。
  論文  参考訳（メタデータ） (2026-03-01T07:00:38Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Selecting Learnable Training Samples is All DETRs Need in Crowded Pedestrian Detection [72.97320260601347]
  混雑した歩行者検出では, サンプル選択法が不適切であるため, DETRの性能は相変わらず不満足である。 制約誘導ラベル割り当てスキーム(CGLA)からなる群集歩行者のサンプル選択を提案する。 実験の結果,提案したSSCPは推論のオーバーヘッドを発生させることなく,ベースラインを効果的に改善することがわかった。
  論文  参考訳（メタデータ） (2023-05-18T08:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。