論文の概要: SortingEnv: An Extendable RL-Environment for an Industrial Sorting Process

• arxiv url: http://arxiv.org/abs/2503.10466v1
• Date: Thu, 13 Mar 2025 15:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:51.813950
• Title: SortingEnv: An Extendable RL-Environment for an Industrial Sorting Process
• Title（参考訳）: SortingEnv:産業用Sortingプロセスのための拡張可能なRL環境
• Authors: Tom Maus, Nico Zengeler, Tobias Glasmachers,
• Abstract要約: 本稿では,産業的な選別システムを最適化し,進化空間におけるエージェントの挙動を研究することを目的とした,新しい強化学習(RL)環境を提案する。 選別プロセス内で物質の流れをシミュレートする際、我々の環境は、ベルト速度や占有レベルといった操作パラメータを持つデジタルツインのアイデアに従います。 これには、離散ベルトの速度調整に焦点を当てた基本バージョンと、複数のソートモードを導入した先進バージョンと、強化された材料組成観察という2つのバリエーションが含まれる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present a novel reinforcement learning (RL) environment designed to both optimize industrial sorting systems and study agent behavior in evolving spaces. In simulating material flow within a sorting process our environment follows the idea of a digital twin, with operational parameters like belt speed and occupancy level. To reflect real-world challenges, we integrate common upgrades to industrial setups, like new sensors or advanced machinery. It thus includes two variants: a basic version focusing on discrete belt speed adjustments and an advanced version introducing multiple sorting modes and enhanced material composition observations. We detail the observation spaces, state update mechanisms, and reward functions for both environments. We further evaluate the efficiency of common RL algorithms like Proximal Policy Optimization (PPO), Deep-Q-Networks (DQN), and Advantage Actor Critic (A2C) in comparison to a classical rule-based agent (RBA). This framework not only aids in optimizing industrial processes but also provides a foundation for studying agent behavior and transferability in evolving environments, offering insights into model performance and practical implications for real-world RL applications.
• Abstract（参考訳）: 本稿では,産業的な選別システムを最適化し,進化空間におけるエージェントの挙動を研究することを目的とした,新しい強化学習(RL)環境を提案する。 選別プロセス内で物質の流れをシミュレートする際、我々の環境は、ベルト速度や占有レベルといった操作パラメータを持つデジタルツインのアイデアに従います。 現実の課題を反映するために、私たちは、新しいセンサーや高度な機械といった、産業設備への一般的なアップグレードを統合しています。 これには、離散ベルトの速度調整に焦点を当てた基本バージョンと、複数のソートモードを導入した先進バージョンと、強化された材料組成観察という2つのバリエーションが含まれる。 観測空間、状態更新機構、および両方の環境に対する報酬関数について詳述する。 さらに、従来のルールベースエージェント(RBA)と比較して、PPO(Proximal Policy Optimization)、DQN(Deep-Q-Networks)、Advantage Actor Critic(Advantage Actor Critic)といった一般的なRLアルゴリズムの効率を評価する。 このフレームワークは、産業プロセスの最適化を支援するだけでなく、進化する環境におけるエージェントの挙動と伝達可能性の研究の基礎も提供し、実際のRLアプリケーションに対するモデル性能と実践的な影響に関する洞察を提供する。

関連論文リスト

• ODRL: A Benchmark for Off-Dynamics Reinforcement Learning [59.72217833812439]
  我々は、オフダイナミックスRL法を評価するための最初のベンチマークであるODRLを紹介する。 ODRLには、4つの実験的な設定が含まれており、ソースドメインとターゲットドメインはオンラインまたはオフラインにすることができる。 我々は、様々な力学シフトにまたがる普遍的な優位性を持つ手法が存在しないことを示す広範なベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-10-28T05:29:38Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Karolos: An Open-Source Reinforcement Learning Framework for Robot-Task Environments [0.3867363075280544]
  強化学習(RL)研究において、シミュレーションはアルゴリズム間のベンチマークを可能にする。 本稿では,ロボット応用のためのフレームワークであるKarolosを紹介する。 コードはオープンソースでGitHubに公開されており、ロボット工学におけるRLアプリケーションの研究を促進することを目的としている。
  論文  参考訳（メタデータ） (2022-12-01T23:14:02Z)
• FORLORN: A Framework for Comparing Offline Methods and Reinforcement Learning for Optimization of RAN Parameters [0.0]
  本稿では,ネットワーク環境におけるRLエージェントの性能をns-3でシミュレートする新しいフレームワークを提案する。 このフレームワークでは、ドメイン固有の知識を持たないRLエージェントが、静的シナリオにおけるオフライン最適化に適合するように、Radio Access Network(RAN)パラメータを効率的に調整する方法を学習できることを実証する。
  論文  参考訳（メタデータ） (2022-09-08T12:58:09Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
  強化学習はスケジューリングの問題を解決するのに使える。 既存の研究は、コードが利用できない複雑なシミュレーションに依存している。 から選ぶべきRLの設計の広大な配列があります。 モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
  論文  参考訳（メタデータ） (2021-04-16T16:07:10Z)
• Sample-Efficient Automated Deep Reinforcement Learning [33.53903358611521]
  本稿では、任意のオフポリティックなRLアルゴリズムをメタ最適化する、人口ベース自動RLフレームワークを提案する。 集団全体で収集した経験を共有することで,メタ最適化のサンプル効率を大幅に向上させる。 我々は,MuJoCoベンチマークスイートで人気のTD3アルゴリズムを用いたケーススタディにおいて,サンプル効率のよいAutoRLアプローチの能力を実証した。
  論文  参考訳（メタデータ） (2020-09-03T10:04:06Z)
• Concept and the implementation of a tool to convert industry 4.0 environments modeled as FSM to an OpenAI Gym wrapper [2.594420805049218]
  本稿では、FSMとしてモデル化された動的システムをオープンソースGymラッパーに変換するツールの概念と実装について述べる。 提案ツールの最初のテストでは、従来のQ-ラーニング手法と2つの単純な環境上での深層Q-ラーニング手法を示す。
  論文  参考訳（メタデータ） (2020-06-29T13:28:41Z)
• A Survey of Reinforcement Learning Algorithms for Dynamically Varying Environments [1.713291434132985]
  強化学習(Reinforcement Learning, RL)アルゴリズムは、在庫管理、レコメンデータシステム、車両交通管理、クラウドコンピューティング、ロボット工学などの分野で応用されている。 これらの領域で生じる多くのタスクの現実的な合併症は、古典的RLアルゴリズムの基礎となる基本的な仮定で解くのを難しくする。 本稿では、動的に変化する環境モデルを扱うために開発されたRL法について調査する。 これらのアルゴリズムの代表的コレクションは、それらの分類と相対的なメリットとデメリットと共に、この研究で詳細に議論されている。
  論文  参考訳（メタデータ） (2020-05-19T09:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。