論文の概要: Not All Rollouts Are Worth Learning: On Trajectory Valuation for Post-Training Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.35072v1
• Date: Mon, 28 Sep 2026 12:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:14:56.295193
• Title: Not All Rollouts Are Worth Learning: On Trajectory Valuation for Post-Training Reinforcement Learning
• Title（参考訳）: すべてのロールアウトは価値ある学習ではない - 訓練後強化学習のための軌道評価について
• Abstract要約: 動的軌跡評価(Dynamic Trajectory Valuation, DTV)は, トラジェクティビティを最小バッチレベルで推定し, 勾配情報のみに基づいて減量トラジェクティをフィルタするフレームワークである。 PPO、GRPO、DPOなど、さまざまな環境での実験は、DTVが一貫してパフォーマンスを改善し、データ効率を向上し、最適化を安定化することを示した。
• 参考スコア（独自算出の注目度）: 4.222399192445222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of trajectory valuation in reinforcement learning: how to identify and mitigate detrimental trajectories during online training. Unlike classification, where data valuation relies on fixed training and validation sets, reinforcement learning involves dynamically generated trajectories without explicit validation signals, making conventional influence-based methods inapplicable. We propose Dynamic Trajectory Valuation (DTV), a simple and efficient framework that estimates trajectory utility at the mini-batch level and filters detrimental trajectories based solely on gradient information. By operating at the optimization level, DTV integrates seamlessly with existing reinforcement learning pipelines with minimal overhead. Extensive experiments across diverse settings, including PPO, GRPO, and DPO, demonstrate that DTV consistently improves performance, enhances data efficiency, and stabilizes optimization.
• Abstract（参考訳）: 強化学習におけるトラジェクトリ評価の問題について考察し,オンライン学習における有害なトラジェクトリの特定と緩和方法について考察する。 データ評価が一定のトレーニングと検証セットに依存する分類とは異なり、強化学習は明示的な検証信号を持たない動的に生成された軌跡を伴い、従来の影響に基づく手法は適用できない。 本稿では,最小バッチレベルでのトラジェクトリ効用を推定し,勾配情報のみに基づいて有害なトラジェクトリをフィルタリングする,シンプルで効率的なフレームワークである動的トラジェクトリ評価(DTV)を提案する。 最適化レベルでの運用により、DTVは最小限のオーバーヘッドで既存の強化学習パイプラインとシームレスに統合される。 PPO、GRPO、DPOを含む様々な設定にわたる大規模な実験は、DTVが一貫して性能を改善し、データ効率を向上し、最適化を安定化することを示した。

関連論文リスト

• PAWS: Preference Learning with Advantage-Weighted Segments [61.590521943273]
  本稿では,セグメントレベルの優位関数を用いて,ポリシー更新を直接行うセグメントベース優先学習手法を提案する。 シミュレーションされたロボット操作と移動タスクの実験は、PAWSが既存のPbRLアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-10T12:00:17Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Cost-effective Reduced-Order Modeling via Bayesian Active Learning [12.256032958843065]
  本研究では,不確実性を意識したベイズ固有分解(POD)に基づく能動的学習フレームワークBayPOD-ALを提案する。 棒の温度変化を予測する実験結果から,ベイポッドALの有効性が示唆された。 トレーニングデータセットよりも高時間分解能のデータセット上で,ベイポD-ALの性能を評価することにより,ベイポD-ALの一般化性と効率を実証する。
  論文  参考訳（メタデータ） (2025-06-27T21:23:37Z)
• Progressive Scaling Visual Object Tracking [38.28834233600855]
  本稿では,学習データ量,モデルサイズ,入力解像度がトラッキング性能に与える影響を系統的に分析し,視覚オブジェクト追跡のための漸進的スケーリングトレーニング戦略を提案する。 実験により, 各因子のスケーリングは, 追跡精度を大幅に向上させるが, ナイーブトレーニングは最適下最適化と反復改善の制限に悩まされることがわかった。 DT-Trainingは、モデルポテンシャルを最大化するために、小さな教師の移動とデュアルブランチアライメントを統合するプログレッシブスケーリングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T13:45:27Z)
• Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
  自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。 実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。 学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
  論文  参考訳（メタデータ） (2023-04-04T22:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。