論文の概要: Scalable Multi-Task Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00758v1
• Date: Wed, 30 Sep 2026 21:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.788717
• Title: Scalable Multi-Task Inverse Reinforcement Learning
• Title（参考訳）: スケーラブルなマルチタスク逆強化学習
• Abstract要約: 逆強化学習(IRL)は、修正環境下でのエージェントの対実的評価を可能にする。 本稿では,複数のエージェントにまたがってデータをプールするマルチタスクIRL法を提案する。 新しい環境における報酬回復と政策学習に関する有限サンプル保証を提供する。
• 参考スコア（独自算出の注目度）: 39.937553203617576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By learning transferable rewards, inverse reinforcement learning (IRL) enables counterfactual evaluation of agents under modified environments. Such transfer places strict requirements on coverage since target environments affect agents' state occupancy. We propose a multi-task IRL method that pools data across multiple agents with different rewards in the same environment under a low-rank assumption. In addition to alleviating coverage requirements, so each task need not visit every state as long as others do, the method offers scalable evaluation of multiple tasks under new environments as computationally intensive planning scales with rank rather than the number of tasks. We provide finite sample guarantees on reward recovery and on policy learning in new environments. Experiments show our method is robust to limited coverage, recovers rewards on and off of each task's support, transfers to target environments at lower regret than baselines, with its computational advantage over per-task methods widening as tasks grow.
• Abstract（参考訳）: 伝達可能な報酬を学習することにより、逆強化学習(IRL)は、修正された環境下でのエージェントの対実的評価を可能にする。 このような転送は、ターゲット環境がエージェントの国家占有に影響を与えるため、カバー範囲に厳格な要件を課す。 本稿では,複数のエージェントにまたがってデータをプールするマルチタスクIRL法を提案する。 適用範囲の要件を緩和するだけでなく、各タスクが他のタスクのように全ての状態を訪れる必要もないため、新しい環境下で複数のタスクを、タスクの数よりもランクの計算集約的な計画尺度としてスケーラブルに評価することができる。 新しい環境における報酬回復と政策学習に関する有限サンプル保証を提供する。 実験により,本手法は限られた範囲で頑健であり,各タスクのサポートの報奨を回収し,ベースラインよりも低い反省率で目標環境に転送し,タスクが大きくなるにつれてタスク毎の手法よりも計算上の優位性を示す。

関連論文リスト

• Automated Generation of Diverse Courses of Actions for Multi-Agent Operations using Binary Optimization and Graph Learning [7.491865419760499]
  本稿では,エージェントとタスクの互換性がソフトに変化する操作に対して,多様なCOAプールを生成するための新しい理論的定式化および計算フレームワークを提案する。 シミュレーション環境におけるCOA生成プロセスのテストは、ランダムウォークベースライン、タスクシークエンシングにおける最適性ギャップの小さいこと、および5エージェント/100タスク操作で最大20COAを計画するのに約50分を要した。
  論文  参考訳（メタデータ） (2025-06-24T21:58:30Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• Task Aware Dreamer for Task Generalization in Reinforcement Learning [31.364276322513447]
  一般的な世界モデルのトレーニングは、タスクにおいて同様の構造を活用でき、より一般化可能なエージェントのトレーニングに役立つことを示す。 本稿では,タスク間の遅延特性を識別するために,報酬インフォームド機能を統合するタスク・アウェア・ドリーマー (TAD) という新しい手法を提案する。 画像ベースのタスクと状態ベースのタスクの両方の実験は、TADが異なるタスクを同時に処理するパフォーマンスを大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2023-03-09T08:04:16Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Reinforcement Learning for Location-Aware Scheduling [1.0660480034605238]
  倉庫環境の様々な側面がパフォーマンスや実行の優先順位にどのように影響するかを示す。 位置認識型マルチエージェントシステムのための状態空間と動作空間のコンパクト表現を提案する。 また、特定の環境で訓練されたエージェントが、完全に見えない環境でパフォーマンスを維持する方法を示す。
  論文  参考訳（メタデータ） (2022-03-07T15:51:00Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Learning Adaptive Exploration Strategies in Dynamic Environments Through Informed Policy Regularization [100.72335252255989]
  本研究では,動的環境に効果的に適応する探索探索探索戦略の課題について検討する。 本稿では,各タスクにおける報酬を最大化するために訓練された情報ポリシを用いて,RNNベースのポリシーのトレーニングを規則化する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。