論文の概要: Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions

• arxiv url: http://arxiv.org/abs/2205.10218v1
• Date: Fri, 20 May 2022 14:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 13:15:06.514754
• Title: Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions
• Title（参考訳）: 報酬系列分布の特性関数による一般化のためのタスク関連表現の学習
• Authors: Rui Yang, Jie Wang, Zijie Geng, Mingxuan Ye, Shuiwang Ji, Bin Li, Feng Wu
• Abstract要約: 同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。 本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。 実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 63.773813221460614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization across different environments with the same tasks is critical for successful applications of visual reinforcement learning (RL) in real scenarios. However, visual distractions -- which are common in real scenes -- from high-dimensional observations can be hurtful to the learned representations in visual RL, thus degrading the performance of generalization. To tackle this problem, we propose a novel approach, namely Characteristic Reward Sequence Prediction (CRESP), to extract the task-relevant information by learning reward sequence distributions (RSDs), as the reward signals are task-relevant in RL and invariant to visual distractions. Specifically, to effectively capture the task-relevant information via RSDs, CRESP introduces an auxiliary task -- that is, predicting the characteristic functions of RSDs -- to learn task-relevant representations, because we can well approximate the high-dimensional distributions by leveraging the corresponding characteristic functions. Experiments demonstrate that CRESP significantly improves the performance of generalization on unseen environments, outperforming several state-of-the-arts on DeepMind Control tasks with different visual distractions.
• Abstract（参考訳）: 同じタスクで異なる環境にまたがる一般化は、実シナリオにおける視覚強化学習(RL)の成功に不可欠である。 しかし、高次元観察から現実の場面でよく見られる視覚的注意散らしは、視覚的RLにおける学習された表現に害を与え、一般化の性能を低下させる。 そこで本研究では, 報酬信号がrlでタスク関連であり, 視覚障害に不変であるため, 報酬系列分布(rsd)を学習することによりタスク関連情報を抽出する, 特徴報酬系列予測(cresp)という新しい手法を提案する。 特に、rsdsを介してタスク関連情報を効果的に捉えるために、crespはタスク関連表現を学習するために補助タスク(つまり、rsdsの特性関数の予測)を導入し、対応する特性関数を利用して高次元分布をよく近似する。 実験により、CRESPは目に見えない環境での一般化性能を著しく改善し、DeepMindコントロールタスクにおけるいくつかの最先端タスクと異なる視覚的注意をそろえる。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Toward Task Generalization via Memory Augmentation in Meta-Reinforcement Learning [43.69919534800985]
  強化学習(RL)では、エージェントは訓練中に遭遇したタスクと異なるタスクをうまくこなすのに苦労することが多い。 この制限は、多種多様な動的タスク設定におけるRLの広範な展開に課題をもたらす。 タスクの一般化を改善するためのメモリベースRLアプローチであるメモリ拡張を導入する。
  論文  参考訳（メタデータ） (2025-02-03T17:00:19Z)
• Intrinsic Dynamics-Driven Generalizable Scene Representations for Vision-Oriented Decision-Making Applications [0.21051221444478305]
  シーン表現の能力をいかに向上させるかは、ビジョン指向の意思決定アプリケーションにおいて重要な問題である。 視覚強化学習におけるシーケンスモデルを用いた固有ダイナミクス駆動表現学習法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T06:31:03Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• Generalization in Visual Reinforcement Learning with the Reward Sequence Distribution [98.67737684075587]
  部分的に観察されたマルコフ決定過程(POMDP)の一般化は視覚強化学習(VRL)の成功に不可欠である 開始観測に基づく報酬系列分布と事前定義された後続行動系列(RSD-OA)を提案する。 実験により, RSD-OAに基づく表現学習手法は, 目に見えない環境における一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-02-19T15:47:24Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。