論文の概要: PORL: Pretrained Offline Reinforcement Learning for the Job Shop Scheduling Problem

• arxiv url: http://arxiv.org/abs/2609.30948v1
• Date: Fri, 25 Sep 2026 08:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.285028
• Title: PORL: Pretrained Offline Reinforcement Learning for the Job Shop Scheduling Problem
• Title（参考訳）: PORL:ジョブショップスケジューリング問題に対する事前訓練されたオフライン強化学習
• Abstract要約: この研究は、シミュレーションベースのオンライン事前トレーニングと、運用固有のデータのオフライン微調整を組み合わせたハイブリッドアプローチを導入している。 PORLは、スタンドアロンのオフラインRLと考慮された一般的なスケジューリングベースラインよりも低い最適性ギャップを一貫して達成する。 その結果、事前訓練されたポリシーのオフライン適用は、産業スケジューリング環境にとって有望なアプローチであることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Job Shop Scheduling Problem (JSSP) is a fundamental combinatorial optimization problem in industrial optimization. This work introduces Pretrained Offline Reinforcement Learning (PORL), a hybrid approach that combines simulation-based online pretraining with offline fine-tuning on production-specific data. Reinforcement learning through online interaction enables exploration of general scheduling strategies, but typically relies on simulation environments and may suffer from a simulation-to-reality gap. In contrast, offline RL avoids direct interaction with the environment by learning from historical data, but its performance is strongly influenced by dataset quality and coverage. PORL combines the strengths of both paradigms by first learning a general scheduling policy through online interaction and subsequently adapting it offline to a target distribution. A KL-divergence-based policy constraint is introduced to limit deviations from the pretrained policy during fine-tuning. The approach is evaluated on JSSP instances with distribution shift and datasets generated from heuristic, noisy-expert, and random behavioral policies. The results show that PORL consistently achieves lower optimality gaps than standalone offline RL and the considered general scheduling baselines. Furthermore, its advantage over standalone offline RL increases as dataset quality decreases, indicating reduced sensitivity to the quality and coverage of the available offline data. The results suggest that offline adaptation of pretrained policies is a promising approach for industrial scheduling environments where direct online exploration is impractical.
• Abstract（参考訳）: ジョブショップスケジューリング問題(JSSP)は、産業最適化における基本的な組合せ最適化問題である。 本研究では,シミュレーションベースのオンライン事前トレーニングと実運用データによるオフライン微調整を組み合わせたハイブリッドアプローチであるPretrained Offline Reinforcement Learning(PORL)を紹介する。 オンラインインタラクションによる強化学習は、一般的なスケジューリング戦略の探索を可能にするが、通常はシミュレーション環境に依存し、シミュレーションと現実のギャップに悩まされる。 対照的に、オフラインRLは過去のデータから学習することで環境との直接的な相互作用を避けるが、その性能はデータセットの品質とカバレッジに強く影響される。 PORLは、オンラインインタラクションを通じて一般的なスケジューリングポリシーを学習し、次にターゲット分布にオフラインで適用することで、両方のパラダイムの長所を結合する。 KL分割に基づく政策制約を導入し、微調整中に事前訓練された政策からの逸脱を制限する。 この手法は、ヒューリスティック、ノイズ・エキスパート、ランダムな行動ポリシーから生成された分布シフトとデータセットを持つJSSPインスタンス上で評価される。 その結果、PORLはスタンドアロンのオフラインRLや一般的なスケジューリングベースラインよりも低い最適性ギャップを一貫して達成していることがわかった。 さらに、データセットの品質が低下するにつれて、スタンドアロンのオフラインRLよりも有利になり、利用可能なオフラインデータの品質とカバレッジに対する感度が低下する。 その結果,事前学習型政策のオフライン適応は,直接オンライン探索が不可能な産業スケジューリング環境において有望なアプローチであることが示唆された。

関連論文リスト

• Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL [3.2883573376133555]
  本稿では,オフラインからオンラインRLへのスムーズな移行を可能にするフレームワークである行動適応型Q-Learning(BAQ)を紹介する。 BAQは、(i)不確実性が高い場合のオフライン行動に対してオンラインポリシーを整列させ、(ii)より確実なオンライン体験が蓄積されるにつれて、この制約を徐々に緩和する二重目的損失を包含する。 標準ベンチマーク全体を通じて、BAQは、オフラインからオフラインまでのRLアプローチを一貫して上回り、より高速なリカバリ、堅牢性の向上、全体的なパフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-05T18:20:23Z)
• Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
  オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。 本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
  論文  参考訳（メタデータ） (2024-06-26T15:59:13Z)
• Out-of-Distribution Adaptation in Offline RL: Counterfactual Reasoning via Causal Normalizing Flows [30.926243761581624]
  CNF(Causal Normalizing Flow)は、オフラインポリシー評価とトレーニングにおいて、データ生成と拡張のための遷移関数と報酬関数を学習するために開発された。 CNFは、シーケンシャルな意思決定タスクに対する予測的および反ファクト的推論能力を獲得し、OOD適応の可能性を明らかにしている。 我々のCNFベースのオフラインRLアプローチは経験的評価によって検証され、モデルフリーおよびモデルベース手法よりもかなりのマージンで性能が向上する。
  論文  参考訳（メタデータ） (2024-05-06T22:44:32Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees [23.838354396418868]
  本稿では,オンラインアクター批判手法とオフラインデータを組み合わせたハイブリッドRLアルゴリズムを提案する。 当社のアプローチでは,オフラインデータ上でのオフライントレーニングの手順を,オンラインNPGフレームワークに統合する。
  論文  参考訳（メタデータ） (2023-11-14T18:45:56Z)
• Adaptive Policy Learning for Offline-to-Online Reinforcement Learning [27.80266207283246]
  我々は、エージェントがオフラインデータセットから最初に学習され、オンラインにトレーニングされたオフライン-オンライン設定について検討する。 オフラインおよびオンラインデータを効果的に活用するためのAdaptive Policy Learningというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-14T08:13:21Z)
• Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning [80.25648265273155]
  オフライン強化学習は、固定データセットから学習することで、環境と対話することなくエージェントの動作を学ぶことができる。 オンラインの微調整中、オフラインからオンラインデータへの突然の分散シフトにより、事前訓練されたエージェントのパフォーマンスが急速に低下する可能性がある。 エージェントの性能と訓練安定性に基づいて,オンラインファインチューニングにおける行動クローンの損失を適応的に評価することを提案する。 実験の結果,提案手法はD4RLベンチマークにおいて,最先端のオフライン-オンライン強化学習性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T09:08:26Z)
• Curriculum Offline Imitation Learning [72.1015201041391]
  オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。 我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。 連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
  論文  参考訳（メタデータ） (2021-11-03T08:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。