論文の概要: Beyond Static Datasets: Robust Offline Policy Optimization via Vetted Synthetic Transitions

• arxiv url: http://arxiv.org/abs/2601.18107v1
• Date: Mon, 26 Jan 2026 03:38:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.648901
• Title: Beyond Static Datasets: Robust Offline Policy Optimization via Vetted Synthetic Transitions
• Title（参考訳）: 静的データセットを超えて:Vetted Synthetic Transitionsによるロバストオフラインポリシー最適化
• Abstract要約: 静的データセットと学習ポリシ間の分散シフトに対処するモデルベースのフレームワークであるMoReBRACを提案する。 本研究では,変分オートエンコーダ(VAE)モデル検出,モデル感度解析,モンテカルロ(MC)ドロップアウトを統合した階層的不確実性パイプラインを実装した。 D4RL Gym-MuJoCoベンチマークの結果,特にランダム'とサブ最適'のデータ構造において,大幅な性能向上が示された。
• 参考スコア（独自算出の注目度）: 4.359780028396042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline Reinforcement Learning (ORL) holds immense promise for safety-critical domains like industrial robotics, where real-time environmental interaction is often prohibitive. A primary obstacle in ORL remains the distributional shift between the static dataset and the learned policy, which typically mandates high degrees of conservatism that can restrain potential policy improvements. We present MoReBRAC, a model-based framework that addresses this limitation through Uncertainty-Aware latent synthesis. Instead of relying solely on the fixed data, MoReBRAC utilizes a dual-recurrent world model to synthesize high-fidelity transitions that augment the training manifold. To ensure the reliability of this synthetic data, we implement a hierarchical uncertainty pipeline integrating Variational Autoencoder (VAE) manifold detection, model sensitivity analysis, and Monte Carlo (MC) dropout. This multi-layered filtering process guarantees that only transitions residing within high-confidence regions of the learned dynamics are utilized. Our results on D4RL Gym-MuJoCo benchmarks reveal significant performance gains, particularly in ``random'' and ``suboptimal'' data regimes. We further provide insights into the role of the VAE as a geometric anchor and discuss the distributional trade-offs encountered when learning from near-optimal datasets.
• Abstract（参考訳）: オフライン強化学習(ORL)は、リアルタイム環境相互作用がしばしば禁止される産業ロボティクスのような安全クリティカルな分野に対して、大きな約束を持っている。 ORLの主な障害は、静的データセットと学習されたポリシーの間の分散シフトであり、通常は潜在的な政策改善を抑えるための高次保守主義を課す。 この制限に対処するモデルベースのフレームワークであるMoReBRACを提案する。 固定データのみに頼る代わりに、MoReBRACは2重リカレントな世界モデルを使用して、トレーニング多様体を増大させる高忠実性遷移を合成する。 この合成データの信頼性を確保するため,変分オートエンコーダ(VAE)多様体検出,モデル感度解析,モンテカルロ(MC)ドロップアウトを統合した階層的不確実性パイプラインを実装した。 この多層フィルタリングプロセスは、学習力学の高信頼領域内に存在する遷移のみを利用することを保証している。 D4RL Gym-MuJoCo ベンチマークの結果,特に `<random'' や ``suboptimal'' のデータレギュレーションでは,顕著な性能向上が見られた。 さらに、VAEが幾何学的アンカーとして果たす役割についての洞察を提供し、ほぼ最適データセットから学習する際に発生する分布的トレードオフについて議論する。

関連論文リスト

• Dynamic Important Example Mining for Reinforcement Finetuning [53.98969373888718]
  強化微調整 (Reinforcement fine-tuning, RFT) は、大型モデルの推論能力を高めるためにますます用いられる。 ほとんどのデータ中心のRFTメソッドは静的またはサンプルの選択に依存しており、サンプルの値がトレーニング中に固定されていることを暗黙的に仮定している。 RFT 全体にわたってデータ利用を適応させる,原則的かつ完全に自動化されたフレームワークである Dynamic important Example Mining (DIEM) を提案する。
  論文  参考訳（メタデータ） (2026-08-29T13:12:25Z)
• Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning [15.445619998280243]
  Federated Continual Multimodal Learning (FedCMM)は、フェデレート最適化ループに継続的学習セーフガードを組み込むフレームワークである。 FedCMMは、精度と後方転送の最近のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-13T19:40:30Z)
• Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
  本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。 このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。 多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
  論文  参考訳（メタデータ） (2026-05-28T13:26:53Z)
• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• Stable and Privacy-Preserving Synthetic Educational Data with Empirical Marginals: A Copula-Based Approach [1.5449641546929325]
  Non-Parametric Gaussian Copula (NPGC) は、深層学習とパラメトリック最適化を経験的統計的アンカーに置き換えるプラグアンドプレイ合成法である。 NPGCは、差分プライバシー(DP)を限界レベルと相関レベルの両方で統合し、異種変数タイプをサポートし、欠落したデータを明示的な状態として扱い、情報的不在パターンを維持する。
  論文  参考訳（メタデータ） (2026-04-05T17:34:21Z)
• Cross-Scenario Deraining Adaptation with Unpaired Data: Superpixel Structural Priors and Multi-Stage Pseudo-Rain Synthesis [48.809049043865905]
  低レベルのコンピュータビジョンでは,イメージデライン化が重要な役割を担っている。 ディープラーニングのパラダイムは、目に見えないアウト・オブ・ディストリビューションシナリオに一般化された場合、厳しいパフォーマンス劣化に悩まされることが多い。 本稿では,クロスシナリオ・デライニング適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T07:38:55Z)
• IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning [13.655904209137006]
  オフラインプランニングをデータ生成,教師付きトレーニング,オンライン推論にシームレスに組み込む新しいフレームワークである textbfImaginary Planning Distillation (IPD) を提案する。 まず,オフラインデータから不確実性対策と準最適値関数を備えた世界モデルを学習する。 従来の手動で調整した戻り値関数を準最適値関数に置き換えることで、IDDは推論時の意思決定安定性と性能を改善する。
  論文  参考訳（メタデータ） (2026-03-04T17:05:39Z)
• Puzzle it Out: Local-to-Global World Model for Offline Multi-Agent Reinforcement Learning [22.038062200642162]
  オフラインマルチエージェント強化学習(英語版) (MARL) は、事前収集されたデータセットを用いて、マルチエージェントシステムにおける協調的な意思決定問題を解決することを目的としている。 本稿では,予測不確実性によって合成データを適応的に重み付けし,ポリシーに対する近似誤差の伝搬を低減する不確実性対応サンプリング機構を提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:17:11Z)
• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models [0.0]
  大規模言語モデル(LLM)におけるマルチヘッド自己認識(MHSA)の低ランク分解を適応的に最適化する新しいフレームワークである動的ランク強化学習(DR-RL)を提案する。 DR-RLは、浮動小数点演算(FLOP)を著しく低減しつつ、フルランクアテンションと統計的に等価な下流精度を維持している この研究は、MHSAの適応効率と理論的厳密さのギャップを埋め、リソース制約の深層学習におけるランク低減技術に代えて、原理的に数学的に基礎付けられた代替手段を提供する。
  論文  参考訳（メタデータ） (2025-12-17T21:09:19Z)
• Balance Equation-based Distributionally Robust Offline Imitation Learning [8.607736795429638]
  イミテーション・ラーニング(IL)は、報酬関数や明示的なコントローラを手動で設計するロボットや制御タスクに非常に効果的であることが証明されている。 標準のILメソッドは、トレーニングとデプロイメントの間に環境のダイナミクスが固定されていると暗黙的に仮定します。 バランス方程式に基づく分散ロバストオフライン学習を通じてこの問題に対処する。 不確実な遷移モデルの集合に対する分布論的にロバストな最適化としてこの問題を定式化し、最悪の遷移分布の下での模倣損失を最小限に抑える政策を求める。
  論文  参考訳（メタデータ） (2025-11-11T07:48:09Z)
• EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning [63.03672166010434]
  我々は、進化的、タスクに依存しない、戦略を導いた、実行可能検証可能なデータ合成フレームワークを紹介します。 問題、多様な候補解、検証成果物を共同で合成する。 これは、人間による注釈付きチェックと戦略によるチェックの合意を強制する一貫性に基づく評価器を通じて戦略を反復的に発見する。
  論文  参考訳（メタデータ） (2025-10-20T11:56:35Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Offline Robotic World Model: Learning Robotic Policies without a Physics Simulator [50.191655141020505]
  強化学習(Reinforcement Learning, RL)は、ロボット制御において目覚ましい能力を示してきたが、高いサンプルの複雑さ、安全性の懸念、そしてシム・トゥ・リアルのギャップのため、依然として困難である。 物理シミュレータに頼らずに政策学習を改善するために不確実性を明示的に推定するモデルベースアプローチであるオフラインロボット世界モデル(RWM-O)を導入する。
  論文  参考訳（メタデータ） (2025-04-23T12:58:15Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Robust Reinforcement Learning using Offline Data [23.260211453437055]
  我々はロバストフィットQ-Iteration (RFQI) と呼ばれる頑健な強化学習アルゴリズムを提案する。 RFQIは、最適なロバストポリシを学ぶために、オフラインデータセットのみを使用する。 我々は、RFQIが標準仮定の下でほぼ最適のロバストポリシーを学習していることを証明する。
  論文  参考訳（メタデータ） (2022-08-10T03:47:45Z)
• PerSim: Data-Efficient Offline Reinforcement Learning with Heterogeneous Agents via Personalized Simulators [19.026312915461553]
  我々はpersimと呼ばれるモデルベースオフライン強化学習(rl)手法を提案する。 まず,各エージェントのパーソナライズされたシミュレータを,政策を学ぶ前に,各エージェントの履歴軌跡をまとめて学習する。 この表現は、エージェントごとの遷移ダイナミクスを効果的に学習するための、単純で正規化されたニューラルネットワークアーキテクチャを示唆している。
  論文  参考訳（メタデータ） (2021-02-13T17:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。