論文の概要: A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation

• arxiv url: http://arxiv.org/abs/2407.00496v1
• Date: Sat, 29 Jun 2024 17:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:56:15.221778
• Title: A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation
• Title（参考訳）: 多目的タスク割り当てのための2段階強化学習に基づくアプローチ
• Authors: Aicheng Gong, Kai Yang, Jiafei Lyu, Xiu Li,
• Abstract要約: 意思決定者は、さまざまなシナリオで合理的にエンティティをタスクに割り当てなければならない。 従来のメソッドは静的な属性とタスクやエンティティの数を前提としており、しばしば動的プログラミングとソリューションのアルゴリズムに依存している。 類似性に基づく2段階のタスク割り当てアルゴリズムを提案し、強化学習を利用してアロケーション戦略を学習する。
• 参考スコア（独自算出の注目度）: 27.480892280342417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task allocation is a key combinatorial optimization problem, crucial for modern applications such as multi-robot cooperation and resource scheduling. Decision makers must allocate entities to tasks reasonably across different scenarios. However, traditional methods assume static attributes and numbers of tasks and entities, often relying on dynamic programming and heuristic algorithms for solutions. In reality, task allocation resembles Markov decision processes, with dynamically changing task and entity attributes. Thus, algorithms must dynamically allocate tasks based on their states. To address this issue, we propose a two-stage task allocation algorithm based on similarity, utilizing reinforcement learning to learn allocation strategies. The proposed pre-assign strategy allows entities to preselect appropriate tasks, effectively avoiding local optima and thereby better finding the optimal allocation. We also introduce an attention mechanism and a hyperparameter network structure to adapt to the changing number and attributes of entities and tasks, enabling our network structure to generalize to new tasks. Experimental results across multiple environments demonstrate that our algorithm effectively addresses the challenges of dynamic task allocation in practical applications. Compared to heuristic algorithms like genetic algorithms, our reinforcement learning approach better solves dynamic allocation problems and achieves zero-shot generalization to new tasks with good performance. The code is available at https://github.com/yk7333/TaskAllocation.
• Abstract（参考訳）: タスク割り当ては重要な組合せ最適化問題であり、マルチロボット協調やリソーススケジューリングといった現代的なアプリケーションに不可欠である。 意思決定者は、さまざまなシナリオで合理的にエンティティをタスクに割り当てなければならない。 しかし、従来の手法では静的な属性やタスクやエンティティの数を前提としており、しばしば動的プログラミングやヒューリスティックなアルゴリズムに頼っている。 実際、タスク割り当てはMarkovの決定プロセスに似ており、動的にタスクとエンティティ属性が変化する。 したがって、アルゴリズムはその状態に基づいて動的にタスクを割り当てる必要がある。 そこで本研究では,類似性に基づく2段階のタスク割り当てアルゴリズムを提案し,強化学習を利用してアロケーション戦略を学習する。 提案した事前割り当て戦略により、エンティティは適切なタスクをプリセレクトし、局所最適を効果的に回避し、最適なアロケーションを見つけることができる。 また,アテンション機構とハイパーパラメータネットワーク構造を導入して,エンティティやタスクの数や属性の変化に適応し,ネットワーク構造を新しいタスクに一般化する。 複数の環境にまたがる実験結果から,本アルゴリズムは実運用における動的タスク割り当ての課題に効果的に対処できることが示唆された。 遺伝的アルゴリズムのようなヒューリスティックアルゴリズムと比較して、我々の強化学習アプローチは動的アロケーション問題をよりよく解決し、新しいタスクへのゼロショットの一般化を優れた性能で達成する。 コードはhttps://github.com/yk7333/TaskAllocation.comから入手できる。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• Heterogeneous Graph Reinforcement Learning for Dependency-aware Multi-task Allocation in Spatial Crowdsourcing [33.915222518617085]
  本稿では,依存性を考慮したマルチタスクアロケーション(DMA)の問題点を公式に検討する。 Heterogeneous Graph Reinforcement Learning-based Task Allocation (HGRL-TA)として知られる、それを解決するためのよく設計されたフレームワークを提供する。 実験結果は、提案されたHGRL-TAのDMA問題を解決する効果と一般性を示し、メタヒューリスティック法を用いて達成したよりも21.78%高い平均利益をもたらす。
  論文  参考訳（メタデータ） (2024-10-20T17:00:45Z)
• Learning Dual-arm Object Rearrangement for Cartesian Robots [28.329845378085054]
  この研究は、カルテシアンロボットの現実的な産業シナリオから抽象化されたデュアルアームオブジェクト再構成問題に焦点を当てる。 この問題の目標は、すべてのオブジェクトをソースからターゲットに、総完了時間最小で転送することである。 我々は、累積タスク実行時間を最小化し、両腕協調効率を最大化するための効果的なオブジェクト・ツー・アームタスク割り当て戦略を開発する。
  論文  参考訳（メタデータ） (2024-02-21T09:13:08Z)
• Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
  重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。 本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
  論文  参考訳（メタデータ） (2023-08-23T16:42:27Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Geometric Deep Reinforcement Learning for Dynamic DAG Scheduling [8.14784681248878]
  本稿では,現実的なスケジューリング問題を解決するための強化学習手法を提案する。 高性能コンピューティングコミュニティにおいて一般的に実行されるアルゴリズムであるColesky Factorizationに適用する。 我々のアルゴリズムは,アクター・クリティカル・アルゴリズム (A2C) と組み合わせてグラフニューラルネットワークを用いて,問題の適応表現をオンザフライで構築する。
  論文  参考訳（メタデータ） (2020-11-09T10:57:21Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Learning Adaptive Exploration Strategies in Dynamic Environments Through Informed Policy Regularization [100.72335252255989]
  本研究では,動的環境に効果的に適応する探索探索探索戦略の課題について検討する。 本稿では,各タスクにおける報酬を最大化するために訓練された情報ポリシを用いて,RNNベースのポリシーのトレーニングを規則化する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:14:48Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。