論文の概要: Distributed Optimization of Modular Production Systems using Model-based Reinforcement Learning with Inverse Models

• arxiv url: http://arxiv.org/abs/2609.11615v1
• Date: Thu, 10 Sep 2026 14:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.399799
• Title: Distributed Optimization of Modular Production Systems using Model-based Reinforcement Learning with Inverse Models
• Title（参考訳）: 逆モデルを用いたモデルベース強化学習を用いたモジュール生産システムの分散最適化
• Abstract要約: 我々は,強化政策の訓練において,近似逆プロセスモデルを導入するモデルベース強化学習の新しい枠組みを採用する。 本稿では、近似逆モデルのための軽量フィードフォワードアーキテクチャを提案し、それらを標準RLアルゴリズムのポリシーネットワークに統合する。
• 参考スコア（独自算出の注目度）: 3.0098885383612104
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents a novel approach for data-driven self-learning control of highly flexible, modular manufacturing systems. Specifically, we employ a novel framework for model-based reinforcement learning which introduces approximate inverse process models within the training of reinforcement policies. This approach disentangles the learning of actuation dynamics and the dynamics in state space, resulting in RL-based training solely within the task space. We propose a lightweight feedforward architecture for approximate inverse models and integrate them within the policy network of standard RL algorithms. We apply the approach to a laboratory modular production testbed with heterogeneous production modules. The results underline the efficiency improvements for modular manufacturing units in terms of both performance and training speed, particularly for off-policy algorithms.
• Abstract（参考訳）: 本稿では,高度にフレキシブルでモジュール化された製造システムのデータ駆動型自己学習制御のための新しい手法を提案する。 具体的には,強化政策の訓練において,近似的逆過程モデルを導入するモデルベース強化学習の新しい枠組みを用いる。 このアプローチは、状態空間におけるアクティベーションダイナミクスとダイナミクスの学習を阻害し、RLベースのトレーニングをタスク空間内でのみ行う。 本稿では、近似逆モデルのための軽量フィードフォワードアーキテクチャを提案し、それらを標準RLアルゴリズムのポリシーネットワークに統合する。 このアプローチを異種生産モジュールを用いた実験室のモジュール生産テストベッドに適用する。 その結果, モジュラー製造ユニットの性能向上, トレーニング速度, 特に非政治アルゴリズムの両面において, 効率の向上が図られた。

関連論文リスト

• Efficient Reinforcement Learning using Linear Koopman Dynamics for Nonlinear Robotic Systems [4.946483489399818]
  本稿では,非線形ロボットシステムの最適閉ループ制御のためのモデルに基づく強化学習フレームワークを提案する。 提案手法は、クープマン作用素理論を通じて線形昇降力学を学習し、結果のモデルをポリシー最適化のためのアクタ批判アーキテクチャに統合する。 このフレームワークは、いくつかのシミュレーションされた非線形制御ベンチマークと、2つの実世界のハードウェアプラットフォームで評価される。
  論文  参考訳（メタデータ） (2026-04-21T20:40:22Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• Leveraging Submodule Linearity Enhances Task Arithmetic Performance in LLMs [51.09983600916971]
  近年の研究では、線形性を示すモデルがタスク演算の性能を向上させることが示されている。 我々は、この線型性はモデルの部分加群の中にすでに存在すると論じる。 我々はこれらのサブモジュールを独立にマージする革新的なモデルマージ戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-15T06:23:24Z)
• Sample-Efficient Reinforcement Learning of Koopman eNMPC [42.72938925647165]
  強化学習は、データ駆動(経済)非線形モデル予測コントローラ((e)NMPC)を、特定の制御タスクにおける最適な性能に調整するために使用することができる。 モデルに基づくRLアルゴリズムと、Koopman (e)NMPCを自動微分可能なポリシーに変換する方法を組み合わせる。
  論文  参考訳（メタデータ） (2025-03-24T15:35:16Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Meta-Reinforcement Learning for Adaptive Control of Second Order Systems [3.131740922192114]
  プロセス制御では、多くのシステムは類似しており、よく理解されているダイナミクスを持ち、メタ学習を通じて一般化可能なコントローラを作成することは可能であることを示唆している。 本稿では,メタ強化学習(meta-RL)制御戦略を定式化し,モデル構造などのトレーニングにおいて,既知のオフライン情報を活用する。 重要な設計要素は、トレーニング中にモデルベースの情報をオフラインで利用し、新しい環境と対話するためのモデルフリーのポリシー構造を維持することである。
  論文  参考訳（メタデータ） (2022-09-19T18:51:33Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。