論文の概要: A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation
- arxiv url: http://arxiv.org/abs/2407.00496v1
- Date: Sat, 29 Jun 2024 17:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:56:15.221778
- Title: A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation
- Title(参考訳): 多目的タスク割り当てのための2段階強化学習に基づくアプローチ
- Authors: Aicheng Gong, Kai Yang, Jiafei Lyu, Xiu Li,
- Abstract要約: 意思決定者は、さまざまなシナリオで合理的にエンティティをタスクに割り当てなければならない。
従来のメソッドは静的な属性とタスクやエンティティの数を前提としており、しばしば動的プログラミングとソリューションのアルゴリズムに依存している。
類似性に基づく2段階のタスク割り当てアルゴリズムを提案し、強化学習を利用してアロケーション戦略を学習する。
- 参考スコア(独自算出の注目度): 27.480892280342417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task allocation is a key combinatorial optimization problem, crucial for modern applications such as multi-robot cooperation and resource scheduling. Decision makers must allocate entities to tasks reasonably across different scenarios. However, traditional methods assume static attributes and numbers of tasks and entities, often relying on dynamic programming and heuristic algorithms for solutions. In reality, task allocation resembles Markov decision processes, with dynamically changing task and entity attributes. Thus, algorithms must dynamically allocate tasks based on their states. To address this issue, we propose a two-stage task allocation algorithm based on similarity, utilizing reinforcement learning to learn allocation strategies. The proposed pre-assign strategy allows entities to preselect appropriate tasks, effectively avoiding local optima and thereby better finding the optimal allocation. We also introduce an attention mechanism and a hyperparameter network structure to adapt to the changing number and attributes of entities and tasks, enabling our network structure to generalize to new tasks. Experimental results across multiple environments demonstrate that our algorithm effectively addresses the challenges of dynamic task allocation in practical applications. Compared to heuristic algorithms like genetic algorithms, our reinforcement learning approach better solves dynamic allocation problems and achieves zero-shot generalization to new tasks with good performance. The code is available at https://github.com/yk7333/TaskAllocation.
- Abstract(参考訳): タスク割り当ては重要な組合せ最適化問題であり、マルチロボット協調やリソーススケジューリングといった現代的なアプリケーションに不可欠である。
意思決定者は、さまざまなシナリオで合理的にエンティティをタスクに割り当てなければならない。
しかし、従来の手法では静的な属性やタスクやエンティティの数を前提としており、しばしば動的プログラミングやヒューリスティックなアルゴリズムに頼っている。
実際、タスク割り当てはMarkovの決定プロセスに似ており、動的にタスクとエンティティ属性が変化する。
したがって、アルゴリズムはその状態に基づいて動的にタスクを割り当てる必要がある。
そこで本研究では,類似性に基づく2段階のタスク割り当てアルゴリズムを提案し,強化学習を利用してアロケーション戦略を学習する。
提案した事前割り当て戦略により、エンティティは適切なタスクをプリセレクトし、局所最適を効果的に回避し、最適なアロケーションを見つけることができる。
また,アテンション機構とハイパーパラメータネットワーク構造を導入して,エンティティやタスクの数や属性の変化に適応し,ネットワーク構造を新しいタスクに一般化する。
複数の環境にまたがる実験結果から,本アルゴリズムは実運用における動的タスク割り当ての課題に効果的に対処できることが示唆された。
遺伝的アルゴリズムのようなヒューリスティックアルゴリズムと比較して、我々の強化学習アプローチは動的アロケーション問題をよりよく解決し、新しいタスクへのゼロショットの一般化を優れた性能で達成する。
コードはhttps://github.com/yk7333/TaskAllocation.comから入手できる。
関連論文リスト
- Deep Reinforcement Learning for Dynamic Algorithm Selection: A
Proof-of-Principle Study on Differential Evolution [27.607740475924448]
本稿では,この課題を実現するための強化学習に基づく動的アルゴリズム選択フレームワークを提案する。
我々は、最適な動作を推測し、アルゴリズムの選択を確実にするために、洗練されたディープニューラルネットワークモデルを用いる。
基礎研究として、この枠組みを微分進化アルゴリズム群に適用する。
論文 参考訳(メタデータ) (2024-03-04T15:40:28Z) - Learning Dual-arm Object Rearrangement for Cartesian Robots [28.329845378085054]
この研究は、カルテシアンロボットの現実的な産業シナリオから抽象化されたデュアルアームオブジェクト再構成問題に焦点を当てる。
この問題の目標は、すべてのオブジェクトをソースからターゲットに、総完了時間最小で転送することである。
我々は、累積タスク実行時間を最小化し、両腕協調効率を最大化するための効果的なオブジェクト・ツー・アームタスク割り当て戦略を開発する。
論文 参考訳(メタデータ) (2024-02-21T09:13:08Z) - Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。
本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
論文 参考訳(メタデータ) (2023-08-23T16:42:27Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。
従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。
本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T00:54:27Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z) - A Two-stage Framework and Reinforcement Learning-based Optimization
Algorithms for Complex Scheduling Problems [54.61091936472494]
本稿では、強化学習(RL)と従来の運用研究(OR)アルゴリズムを組み合わせた2段階のフレームワークを開発する。
スケジューリング問題は,有限マルコフ決定過程 (MDP) と混合整数計画過程 (mixed-integer programming process) の2段階で解決される。
その結果,本アルゴリズムは,アジャイルな地球観測衛星スケジューリング問題に対して,安定かつ効率的に十分なスケジューリング計画を得ることができた。
論文 参考訳(メタデータ) (2021-03-10T03:16:12Z) - Geometric Deep Reinforcement Learning for Dynamic DAG Scheduling [8.14784681248878]
本稿では,現実的なスケジューリング問題を解決するための強化学習手法を提案する。
高性能コンピューティングコミュニティにおいて一般的に実行されるアルゴリズムであるColesky Factorizationに適用する。
我々のアルゴリズムは,アクター・クリティカル・アルゴリズム (A2C) と組み合わせてグラフニューラルネットワークを用いて,問題の適応表現をオンザフライで構築する。
論文 参考訳(メタデータ) (2020-11-09T10:57:21Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳(メタデータ) (2020-10-24T21:35:57Z) - Learning Adaptive Exploration Strategies in Dynamic Environments Through
Informed Policy Regularization [100.72335252255989]
本研究では,動的環境に効果的に適応する探索探索探索戦略の課題について検討する。
本稿では,各タスクにおける報酬を最大化するために訓練された情報ポリシを用いて,RNNベースのポリシーのトレーニングを規則化する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-05-06T16:14:48Z) - Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
マルチタスク学習は強化学習において非常に難しい問題である。
この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。
提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
論文 参考訳(メタデータ) (2020-03-30T17:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。