論文の概要: Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.17760v1
• Date: Mon, 20 Jul 2026 09:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.579374
• Title: Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning
• Title（参考訳）: 一般化とガイド: 逆強化学習のためのリワードを分解する
• Abstract要約: 逆強化学習(IRL)は、実演から学ぶための強力なフレームワークを提供する。 マルチタスク識別器の近性誘導IRL(MPG)について紹介する。 MPGは,(1)関係タスク間で共有構造を伝達し,新たなタスクにおける専門家の行動を識別する一般化可能な識別器,(2)状態が専門家の行動からどの程度逸脱しているかを計測し,探索中に補正ガイダンスを提供する近接関数,の2つの相補的報酬成分を学習する。
• 参考スコア（独自算出の注目度）: 4.847786820784619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse reinforcement learning (IRL) provides a powerful framework for learning from demonstrations. However, real-world tasks often exhibit substantial natural variations (e.g., picking up mugs with varying shapes), making it impractical to collect demonstrations that fully specify a new task under every possible scenario. In practice, while demonstrations for the target task are limited, it is often easier to obtain datasets of heterogeneous but related behaviors. This motivates the problem of few-shot IRL with multi-task demonstrations (FM-IRL), where an agent must learn a new task with substantial variations from only a limited number of target-task demonstrations, together with sufficient demonstrations of related tasks and online agent experience. To do so, we must both recover the expert distribution of the new task and provide guidance when the agent deviates from it. We introduce Multitask discriminator Proximity-Guided IRL (MPG), which learns two complementary reward components: (1) a generalizable discriminator that transfers shared structure across related tasks to identify expert behavior in a new task, and (2) a proximity function that measures how far a state deviates from expert behavior and provides corrective guidance during exploration. We demonstrate the effectiveness of our method on multiple challenging navigation and manipulation tasks under significant variations (e.g., object configurations, table layouts, and initial robot poses), achieving an average success rate of 81.2%, outperforming the strongest per-task baseline by an average of 24.7 percentage points.
• Abstract（参考訳）: 逆強化学習(IRL)は、実演から学ぶための強力なフレームワークを提供する。 しかし、現実世界のタスクは、しばしば大きな自然変化(例えば、様々な形状のマグカップを拾うなど)を示し、あらゆるシナリオで新しいタスクを完全に指定したデモを収集するのは現実的ではない。 実際には、対象タスクのデモンストレーションは限られているが、不均一だが関連する振る舞いのデータセットを得るのは容易であることが多い。 これは、マルチタスクのデモンストレーション(FM-IRL)で、エージェントは、限られた数のターゲットタスクのデモから、関連するタスクとオンラインエージェント体験の十分なデモとともに、かなり多様なタスクを学ぶ必要がある、という問題である。 そのためには,新たなタスクの専門的分布を復元し,エージェントがそれから逸脱した場合にガイダンスを提供する必要がある。 本稿では,(1)タスク間の共有構造を伝達し,新たなタスクにおいて専門家の行動を識別する一般化可能な識別器,(2)状態が専門家の行動からどの程度逸脱するかを計測し,探索中の補正ガイダンスを提供する近接関数,の2つの相補的な報酬成分を学習するマルチタスク識別器(MPG)を紹介する。 提案手法は,多種多様な操作作業(例えば,オブジェクト構成,テーブルレイアウト,初期ロボットポーズ)において,81.2%の平均成功率を達成し,平均24.7%の精度でタスク毎のベースラインを上回った。

関連論文リスト

• Subtask-Aware Visual Reward Learning from Segmented Demonstrations [97.80917991633248]
  本稿では,新しい報酬学習フレームワークであるReward Learning from Demonstration with Demonstrationsを紹介する。 我々は,映像セグメントとそれに対応するサブタスクに条件付けされた高密度報酬関数を訓練し,地道報酬信号との整合性を確保する。 実験の結果,REDSはメタワールドにおける複雑なロボット操作タスクのベースライン手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-28T01:25:37Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Task Aware Dreamer for Task Generalization in Reinforcement Learning [31.364276322513447]
  一般的な世界モデルのトレーニングは、タスクにおいて同様の構造を活用でき、より一般化可能なエージェントのトレーニングに役立つことを示す。 本稿では,タスク間の遅延特性を識別するために,報酬インフォームド機能を統合するタスク・アウェア・ドリーマー (TAD) という新しい手法を提案する。 画像ベースのタスクと状態ベースのタスクの両方の実験は、TADが異なるタスクを同時に処理するパフォーマンスを大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2023-03-09T08:04:16Z)
• Reinforcement learning with Demonstrations from Mismatched Task under Sparse Reward [7.51772160511614]
  強化学習は、現実世界のロボティクス問題において、希少な報酬問題に悩まされることが多い。 先行研究はしばしば、学習エージェントと専門家が同じタスクを達成しようとしていると仮定する。 本稿では,対象タスクと専門家のタスクとが一致しない場合について考察する。 既存のLfD手法では、ミスマッチした新しいタスクにおける学習をスパース報酬で効果的に導くことはできない。
  論文  参考訳（メタデータ） (2022-12-03T02:24:59Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
  汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。 ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。 我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
  論文  参考訳（メタデータ） (2021-10-26T05:49:46Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Meta Adaptation using Importance Weighted Demonstrations [19.37671674146514]
  エージェントが新しいタスクを推測することが困難である場合も少なくない。 本稿では,特定のタスクの集合に関する事前知識を活用することで,関連するタスクを一般化する新しいアルゴリズムを提案する。 環境タスクの多様性からロボットを訓練し、目に見えない環境に適応できる実験を行った。
  論文  参考訳（メタデータ） (2019-11-23T07:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。