論文の概要: Improving Generalization and Robustness in Offline Reinforcement Learning via Boundary-Aware Data Augmentation

• arxiv url: http://arxiv.org/abs/2609.20300v1
• Date: Sat, 22 Aug 2026 10:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.688579
• Title: Improving Generalization and Robustness in Offline Reinforcement Learning via Boundary-Aware Data Augmentation
• Title（参考訳）: 境界認識データ拡張によるオフライン強化学習における一般化とロバスト性の向上
• Abstract要約: 現在のオフライン強化学習(ORL)アルゴリズムは、トレーニングデータセットに過度に適合し、実際の環境にデプロイする際の分散の一般化とロバスト性のパフォーマンスが低い傾向にある。 本稿では,近隣の状態を有効活用して境界を構築する手法として,bfB$oundary-$bfA$ware $bfD$ata $bfA$ugmentation (BADA)を提案する。
• 参考スコア（独自算出の注目度）: 7.646713951724011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current offline reinforcement learning (ORL) algorithms tend to overfit the training dataset and exhibit poor in-distribution generalization and robustness performance when deployed to real environments, thus compromising their effectiveness. Existing methods typically enhance in-distribution generalization and robustness by leveraging regularization techniques widely used in computer vision. However, due to the high sensitivity of low-level physical signals to distributional shifts, these methods still suffer from notable limitations in in-distribution generalization and robustness, making it difficult to achieve stable performance in complex environments. To address this issue, we theoretically analyze the error bounds of the behavior policy and action-value function trained with random episode interpolation, revealing that the error scales positively correlated with the distance between states. Based on this insight, we propose a method called $\bf{B}$oundary-$\bf{A}$ware $\bf{D}$ata $\bf{A}$ugmentation (BADA), which leverages neighboring states to construct interpolation boundaries, enabling the generation of synthetic data that more faithfully preserves the original data distribution. We first conduct qualitative studies in a toy environment, showing that BADA generates mixed samples that preserve desirable policy smoothness while accurately reconstructing multimodal value distributions. Extensive experiments on limited offline datasets further demonstrate that BADA attains state-of-the-art performance across diverse benchmarks.
• Abstract（参考訳）: 現在のオフライン強化学習(ORL)アルゴリズムは、トレーニングデータセットに過度に適合し、実際の環境にデプロイする際の分布内一般化とロバスト性性能が劣る傾向にある。 既存の手法は、コンピュータビジョンで広く使われている正規化技術を活用することにより、分散の一般化と堅牢性を高めるのが一般的である。 しかし、分布シフトに対する低レベルの物理信号の感度が高いため、これらの手法は、分布内一般化とロバスト性において顕著な制限を被っており、複雑な環境で安定した性能を達成することは困難である。 この問題を解決するために,ランダムなエピソード補間によって訓練された行動ポリシーと行動値関数の誤差境界を理論的に解析し,その誤差が状態間の距離と正の相関関係があることを明らかにする。 この知見に基づいて、近隣の状態を利用して補間境界を構築し、元のデータ分布をより忠実に保存する合成データの生成を可能にする、$\bf{B}$oundary-$\bf{A}$ware $\bf{D}$ata $\bf{A}$ugmentation (BADA) という手法を提案する。 まず,マルチモーダルな値分布を正確に再構成しながら,適切な政策平滑性を維持する混合試料をBADAが生成することを示す。 限定的なオフラインデータセットに関する大規模な実験により、BADAはさまざまなベンチマークで最先端のパフォーマンスを実現している。

関連論文リスト

• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• GIPO: Gaussian Importance Sampling Policy Optimization [12.306486689840774]
  GIPOは、切り詰められた重要度サンプリングに基づく政策最適化の目標として提案されている。 硬い切り抜きを対数比に基づくガウス的信頼重みに置き換え、極めて重要な比率を抑える。 GIPOは、クリッピングベースのベースライン間で、幅広いリプレイバッファサイズで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-04T11:34:59Z)
• Modest-Align: Data-Efficient Alignment for Vision-Language Models [67.48633659305592]
  クロスモーダルアライメントモデルは、リソース制約のある環境での運用において、過信と劣化したパフォーマンスに悩まされることが多い。 我々は,ロバスト性と効率性に配慮した軽量アライメントフレームワークであるModest-Alignを提案する。 本手法は,実世界の低リソースシナリオにおけるクロスモーダルアライメントを実現するための,実用的でスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-24T16:11:10Z)
• Distributionally Robust Federated Learning with Outlier Resilience [8.69285602685459]
  本研究では, 分散的頑健なフェデレーション学習について, 明確な外部レジリエンスを用いて検討した。 我々は、ロバスト性証明を許容するトラクタブルなラグランジアンペナルティ最適化として問題を再構築する。 この改革に基づいて,分散外乱フェデレーション学習アルゴリズムを提案し,その収束保証を確立する。
  論文  参考訳（メタデータ） (2025-09-29T08:42:12Z)
• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• Distributionally Robust Reinforcement Learning with Interactive Data Collection: Fundamental Hardness and Near-Optimal Algorithm [14.517103323409307]
  Sim-to-realのギャップは、トレーニングとテスト環境の相違を表している。 この課題に対処するための有望なアプローチは、分布的に堅牢なRLである。 我々は対話型データ収集によるロバストなRLに取り組み、証明可能なサンプル複雑性を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-04T16:40:22Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。