論文の概要: Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2301.13343v1
• Date: Tue, 31 Jan 2023 00:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 18:10:21.936821
• Title: Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning
• Title（参考訳）: 強化学習における政策伝達のための少数ショット画像とセマンティック翻訳
• Authors: Rei Sato, Kazuto Fukuchi, Jun Sakuma, Youhei Akimoto
• Abstract要約: 我々は、視覚に基づくロボット制御エージェントの学習困難を軽減するために、画像から意味への変換を用いる。 画像からセマンティクスへのマッピングを学習することで、シミュレータで事前訓練されたポリシーを現実世界に転送することができる。 転写性能の低下を伴わないアノテーションコストの低減を観察した。
• 参考スコア（独自算出の注目度）: 24.297433581603045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate policy transfer using image-to-semantics translation to mitigate learning difficulties in vision-based robotics control agents. This problem assumes two environments: a simulator environment with semantics, that is, low-dimensional and essential information, as the state space, and a real-world environment with images as the state space. By learning mapping from images to semantics, we can transfer a policy, pre-trained in the simulator, to the real world, thereby eliminating real-world on-policy agent interactions to learn, which are costly and risky. In addition, using image-to-semantics mapping is advantageous in terms of the computational efficiency to train the policy and the interpretability of the obtained policy over other types of sim-to-real transfer strategies. To tackle the main difficulty in learning image-to-semantics mapping, namely the human annotation cost for producing a training dataset, we propose two techniques: pair augmentation with the transition function in the simulator environment and active learning. We observed a reduction in the annotation cost without a decline in the performance of the transfer, and the proposed approach outperformed the existing approach without annotation.
• Abstract（参考訳）: 視覚に基づくロボット制御エージェントの学習難易度を軽減すべく,画像から音声への翻訳による方針伝達について検討した。 この問題は、2つの環境を想定している: 意味論を持つシミュレータ環境、すなわち、状態空間としての低次元および必須情報、および状態空間としてのイメージを持つ実世界環境。 画像からセマンティクスへのマッピングを学習することにより、シミュレータで事前訓練されたポリシーを現実世界に移行し、学習に要する現実世界のエージェントインタラクションを排除し、コストがかかり危険である。 さらに, 画像からセマンティックスへのマッピングは, 他のタイプのsim-to-real転送戦略に対して, 得られたポリシの訓練と解釈可能性において, 計算効率の面で有利である。 トレーニングデータセットを作成するための人的アノテーションコストであるイメージ・ツー・セマンティックス・マッピングの学習の難しさに対処するために,シミュレータ環境における遷移関数とのペア増強とアクティブラーニングという2つの手法を提案する。 提案手法は,翻訳性能を低下させることなくアノテーションコストの低減を図り,提案手法はアノテーションなしで既存の手法よりも優れていた。

関連論文リスト

• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
  条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。 提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。 提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
  論文  参考訳（メタデータ） (2023-03-17T18:00:27Z)
• AptSim2Real: Approximately-Paired Sim-to-Real Image Translation [8.208569626646035]
  Sim-to-real Transferは、シミュレーションされた画像を修正して、現実世界のデータにマッチさせる。 AptSim2Realは、シミュレーターが照明、環境、コンポジションの点で現実世界のシーンに似たシーンをゆるやかに生成できるという事実を活用している。 FIDスコアは最大で24%向上し, 質的, 定量的な改善が得られた。
  論文  参考訳（メタデータ） (2023-03-09T06:18:44Z)
• Transfer RL via the Undo Maps Formalism [29.798971172941627]
  ドメイン間で知識を伝達することは、機械学習における最も基本的な問題の1つである。 本稿では,対話型ドメイン間で知識を伝達するフレームワークTvDを提案する。 この目的が,模倣学習を想起させるポリシー更新スキームに結びつき,それを実装するための効率的なアルゴリズムを導出することを示す。
  論文  参考訳（メタデータ） (2022-11-26T03:44:28Z)
• Imitation Learning for Generalizable Self-driving Policy with Sim-to-real Transfer [0.0]
  本研究は,この課題を達成できる3つの模倣学習と2つのシミュレート・トゥ・リアルな手法を提案する。 これらのテクニックについて、それらのメリットとデメリットを強調するために、詳細な比較が提供されている。
  論文  参考訳（メタデータ） (2022-06-22T01:36:14Z)
• Learning Interactive Driving Policies via Data-driven Simulation [125.97811179463542]
  データ駆動シミュレータは、ポリシー学習の駆動に高いデータ効率を約束する。 小さな基盤となるデータセットは、インタラクティブな運転を学ぶための興味深い、挑戦的なエッジケースを欠いていることが多い。 本研究では,ロバストな運転方針の学習に塗装されたアドカーを用いたシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T20:14:02Z)
• Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile Image Translation [21.82940445333913]
  触覚ロボットと強化学習に適したシミュレーション環境について紹介する。 データ駆動型アプローチにより、実際の触覚センサの現在の状態を、対応するシミュレーションされた深度画像に変換することができる。 このポリシーは、物理ロボットのリアルタイム制御ループ内に実装され、ゼロショットシム対リアルポリシー転送を実証する。
  論文  参考訳（メタデータ） (2021-06-16T13:58:35Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。