論文の概要: Look where you look! Saliency-guided Q-networks for visual RL tasks

• arxiv url: http://arxiv.org/abs/2209.09203v1
• Date: Fri, 16 Sep 2022 08:28:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 15:56:35.317423
• Title: Look where you look! Saliency-guided Q-networks for visual RL tasks
• Title（参考訳）: 見える所を見ろ! visual rlタスクのためのsaliency-guided q-networks
• Authors: David Bertoin (ISAE-SUPAERO, IMT, ANITI), Adil Zouitine (ISAE-SUPAERO), Mehdi Zouitine (IMT), Emmanuel Rachelson (ISAE-SUPAERO, ANITI)
• Abstract要約: 画像統計や背景要素の変更は、一般化を妨げる落とし穴である。 SGQN(Saliency-guided Q-networks)は、任意の値関数学習法と互換性のある視覚強化学習のための一般的な方法である。 SGQNは、Soft Actor-Criticエージェントの一般化能力を大幅に改善し、Deepmind Control Generalizationベンチマークで既存の最先端メソッドよりも優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning policies, despite their outstanding efficiency in simulated visual control tasks, have shown disappointing ability to generalize across disturbances in the input training images. Changes in image statistics or distracting background elements are pitfalls that prevent generalization and real-world applicability of such control policies. We elaborate on the intuition that a good visual policy should be able to identify which pixels are important for its decision, and preserve this identification of important sources of information across images. This implies that training of a policy with small generalization gap should focus on such important pixels and ignore the others. This leads to the introduction of saliency-guided Q-networks (SGQN), a generic method for visual reinforcement learning, that is compatible with any value function learning method. SGQN vastly improves the generalization capability of Soft Actor-Critic agents and outperforms existing stateof-the-art methods on the Deepmind Control Generalization benchmark, setting a new reference in terms of training efficiency, generalization gap, and policy interpretability.
• Abstract（参考訳）: 深層強化学習政策は、シミュレーションされた視覚制御タスクにおいて卓越した効率にもかかわらず、入力訓練画像における障害を一般化する能力に失望している。 画像統計や背景要素の変更は、そのような制御ポリシーの一般化や現実世界の適用性を妨げる落とし穴である。 良質な視覚的ポリシーは、その決定においてどのピクセルが重要なのかを識別し、画像間の重要な情報ソースの識別を保存できるべきだという直感を詳述する。 これは、小さな一般化ギャップを持つポリシーの訓練は、そのような重要なピクセルに集中し、他のピクセルを無視しなければならないことを意味する。 これにより、任意の値関数学習法と互換性のある、視覚強化学習の一般的な方法であるSGQN(Saliency-Guided Q-networks)が導入される。 SGQNは、Soft Actor-Criticエージェントの一般化能力を大幅に改善し、Deepmind Control Generalizationベンチマークで既存の最先端メソッドを上回り、トレーニング効率、一般化ギャップ、ポリシー解釈可能性の点で新しい基準を設定する。

関連論文リスト

• DMC-VB: A Benchmark for Representation Learning for Control with Visual Distractors [13.700885996266457]
  行動クローニングやオフライン強化学習(RL)を通じて収集されたデータから学習することは、ジェネラリストエージェントをスケールするための強力なレシピである。 オフラインRLエージェントの堅牢性を評価するため,DeepMind Control Visual Benchmark (DMC-VB) をDeepMind Control Suiteで収集した。 そこで,本研究では,事前学習のための表現学習手法を評価するための3つのベンチマークを提案し,最近提案したいくつかの手法の実験を行った。
  論文  参考訳（メタデータ） (2024-09-26T23:07:01Z)
• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning [49.43362803584032]
  本稿では,弱い教師付き画像操作検出を提案する。 このような設定は、より多くのトレーニングイメージを活用することができ、新しい操作テクニックに迅速に適応する可能性がある。 マルチソース整合性(MSC)とパッチ整合性(IPC)の2つの一貫性特性が学習される。
  論文  参考訳（メタデータ） (2023-09-03T19:19:56Z)
• SpawnNet: Learning Generalizable Visuomotor Skills from Pre-trained Networks [52.766795949716986]
  本稿では,事前学習した視覚表現のカテゴリレベルでの一般化能力について検討する。 本研究では,事前学習した多層表現を独立したネットワークに融合させて,ロバストなポリシーを学習する,新しい2ストリームアーキテクチャSpawnNetを提案する。
  論文  参考訳（メタデータ） (2023-07-07T13:01:29Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning [27.205521177841568]
  視覚強化学習(RL)のためのタスク対応リプシッツデータ拡張(TLDA)を提案する。 TLDAは、大きなリプシッツ定数を持つタスク関連画素を明確に識別し、タスク関連画素のみを拡大する。 3つの異なるビジュアルコントロールベンチマークにおいて、従来の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-02-21T04:22:07Z)
• Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
  我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。 これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。 さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:00:26Z)
• Measuring Visual Generalization in Continuous Control from Pixels [12.598584313005407]
  自己教師付き学習とデータ拡張は、状態と画像に基づく強化学習エージェントのパフォーマンスギャップを著しく減らした。 本稿では,既存の連続制御領域にグラフィカルな多様性を加えることで,エージェントの視覚的一般化をテストするベンチマークを提案する。 我々は、データ拡張技術が自己教師付き学習手法より優れており、より重要な画像変換がより視覚的な一般化をもたらすことを発見した。
  論文  参考訳（メタデータ） (2020-10-13T23:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。