論文の概要: Offline Behavioral Data Selection

• arxiv url: http://arxiv.org/abs/2512.18246v1
• Date: Sat, 20 Dec 2025 07:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.251492
• Title: Offline Behavioral Data Selection
• Title（参考訳）: オフライン行動データ選択
• Authors: Shiye Lei, Zhihao Cheng, Dacheng Tao,
• Abstract要約: 少数のデータセットでトレーニングすると,ポリシのパフォーマンスが急速に飽和することを示す。 本稿では,大規模なオフライン行動データセットからコンパクトで情報性の高いサブセットを抽出する,シンプルで効果的なステップワイドデュアルランキング(SDR)を提案する。 D4RLベンチマークの大規模な実験とアブレーション研究により、SDRはオフラインの行動データに対するデータ選択を大幅に強化することが示された。
• 参考スコア（独自算出の注目度）: 58.116300485427764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Behavioral cloning is a widely adopted approach for offline policy learning from expert demonstrations. However, the large scale of offline behavioral datasets often results in computationally intensive training when used in downstream tasks. In this paper, we uncover the striking data saturation in offline behavioral data: policy performance rapidly saturates when trained on a small fraction of the dataset. We attribute this effect to the weak alignment between policy performance and test loss, revealing substantial room for improvement through data selection. To this end, we propose a simple yet effective method, Stepwise Dual Ranking (SDR), which extracts a compact yet informative subset from large-scale offline behavioral datasets. SDR is build on two key principles: (1) stepwise clip, which prioritizes early-stage data; and (2) dual ranking, which selects samples with both high action-value rank and low state-density rank. Extensive experiments and ablation studies on D4RL benchmarks demonstrate that SDR significantly enhances data selection for offline behavioral data.
• Abstract（参考訳）: 行動クローンは、専門家によるデモンストレーションからオフラインポリシー学習に広く採用されているアプローチである。 しかし、大規模なオフライン行動データセットは、ダウンストリームタスクで使用される場合、計算的に集中的なトレーニングをもたらすことが多い。 本稿では,オフラインの行動データにおける顕著なデータ飽和を明らかにする。 この効果は, 政策性能とテスト損失の整合性の弱さに起因し, データ選択による大幅な改善の余地を明らかにした。 この目的のために,大規模なオフライン行動データセットからコンパクトだが情報に富むサブセットを抽出する,シンプルで効果的なステップワイドデュアルランキング(SDR)を提案する。 SDRは,(1)初期データを優先するステップワイドクリップ,(2)高アクション値ランクと低状態密度ランクの両方のサンプルを選択するダブルランキングという2つの重要な原則に基づいて構築されている。 D4RLベンチマークの大規模な実験とアブレーション研究により、SDRはオフラインの行動データに対するデータ選択を大幅に強化することが示された。

関連論文リスト

• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Goal-Conditioned Data Augmentation for Offline Reinforcement Learning [9.181158786602085]
  Goal-cOnditioned Data Augmentation (GODA) は、ゴール条件付き拡散法である。 GODAは、元のオフラインデータセットの包括的な分布表現を学習し、選択的に高いリターン目標を持つ新しいデータを生成する。 我々は,D4RLベンチマークと実世界の課題,特に交通信号制御(TSC)タスクについて実験を行い,GODAの有効性を実証する。
  論文  参考訳（メタデータ） (2024-12-29T16:42:30Z)
• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets [53.8218145723718]
  オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。 我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。 本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:58:14Z)
• The Challenges of Exploration for Offline Reinforcement Learning [8.484491887821473]
  本稿では,情報的経験の収集と最適な行動の推測という,強化学習の2つのプロセスについて考察する。 データ収集のタスクに依存しない設定は、タスクが優先順位を分かっていないが、特に興味がある。 我々は、この分離されたフレームワークを使用して、探索に関する直感と効果的なオフラインRLのためのデータ前提条件を強化する。
  論文  参考訳（メタデータ） (2022-01-27T23:59:56Z)
• Representation Matters: Offline Pretraining for Sequential Decision Making [27.74988221252854]
  本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。 教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-11T02:38:12Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。