論文の概要: Improving Sample Efficiency of Value Based Models Using Attention and Vision Transformers

• arxiv url: http://arxiv.org/abs/2202.00710v1
• Date: Tue, 1 Feb 2022 19:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 13:50:12.679675
• Title: Improving Sample Efficiency of Value Based Models Using Attention and Vision Transformers
• Title（参考訳）: 注意および視覚変換器を用いた値ベースモデルのサンプル効率向上
• Authors: Amir Ardalan Kalantari, Mohammad Amini, Sarath Chandar, Doina Precup
• Abstract要約: 性能を犠牲にすることなくサンプル効率を向上させることを目的とした深層強化学習アーキテクチャを提案する。 状態表現の特徴マップ上の自己注意機構を変換器を用いて学習する視覚的注意モデルを提案する。 我々は,このアーキテクチャがいくつかのAtari環境におけるサンプルの複雑さを向上すると同時に,いくつかのゲームにおいて優れたパフォーマンスを実現することを実証的に実証した。
• 参考スコア（独自算出の注目度）: 52.30336730712544
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Much of recent Deep Reinforcement Learning success is owed to the neural architecture's potential to learn and use effective internal representations of the world. While many current algorithms access a simulator to train with a large amount of data, in realistic settings, including while playing games that may be played against people, collecting experience can be quite costly. In this paper, we introduce a deep reinforcement learning architecture whose purpose is to increase sample efficiency without sacrificing performance. We design this architecture by incorporating advances achieved in recent years in the field of Natural Language Processing and Computer Vision. Specifically, we propose a visually attentive model that uses transformers to learn a self-attention mechanism on the feature maps of the state representation, while simultaneously optimizing return. We demonstrate empirically that this architecture improves sample complexity for several Atari environments, while also achieving better performance in some of the games.
• Abstract（参考訳）: 最近のDeep Reinforcement Learningの成功の多くは、世界の効果的な内部表現を学習し、活用する神経アーキテクチャの可能性に起因している。 多くのアルゴリズムがシミュレーターにアクセスして大量のデータでトレーニングするが、現実的な設定では、人に対してプレイできるゲームもあれば、収集体験は非常にコストがかかる。 本稿では,性能を犠牲にすることなくサンプル効率を向上させることを目的とした深層強化学習アーキテクチャを提案する。 我々は近年,自然言語処理とコンピュータビジョンの分野で達成された進歩を取り入れて,このアーキテクチャを設計する。 具体的には、トランスフォーマーを用いて状態表現の特徴マップ上で自己照応機構を学習し、同時に戻り値を最適化する視覚注意モデルを提案する。 我々は、このアーキテクチャがいくつかのatari環境のサンプル複雑さを改善し、いくつかのゲームでより良いパフォーマンスを達成することを実証的に示している。

関連論文リスト

• Transformers and Slot Encoding for Sample Efficient Physical World Modelling [1.5498250598583487]
  本研究では,世界モデリングのためのトランスフォーマーとスロットアテンションパラダイムを組み合わせたアーキテクチャを提案する。 得られたニューラルアーキテクチャについて述べるとともに、既存のソリューションよりも、サンプル効率とトレーニング例よりも性能の変動を低減できることを示す実験結果を報告する。
  論文  参考訳（メタデータ） (2024-05-30T15:48:04Z)
• Reusable Architecture Growth for Continual Stereo Matching [92.36221737921274]
  我々は、教師付きおよび自己監督型の両方で、新しいシーンを継続的に学習するための、再利用可能なアーキテクチャ成長(RAG)フレームワークを紹介します。 RAGは、前のユニットを再利用し、良好な性能を得ることにより、成長中の高い再利用性を維持することができる。 また、推論時にシーン固有のアーキテクチャパスを適応的に選択するScene Routerモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-30T13:24:58Z)
• Neural architecture impact on identifying temporally extended Reinforcement Learning tasks [0.0]
  Intention based architectures in reinforcement learning (RL) domain, which can be good performance on OpenAI Gym Atari-2600 game suite。 注意に基づくモデルでは、イメージへの注意マップの抽出とオーバーレイにより、エージェントがアクションを選択するために使用する情報の直接観察が可能になる。 さらに、視覚変換器を用いた注意に基づく映像分類モデルの開発により、画像ベースRLドメインにも視覚変換器をベースとしたアーキテクチャが考案された。
  論文  参考訳（メタデータ） (2023-10-04T21:09:19Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Generative Adversarial Transformers [13.633811200719627]
  本稿では,新規かつ効率的な変換器であるGANsformerを紹介し,視覚生成モデリングの課題について検討する。 ネットワークは、線形効率の計算を維持しながら、画像間の長距離相互作用を可能にする二部構造を用いる。 高速な学習とより良いデータ効率を享受しながら、画像品質と多様性の観点から最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-01T18:54:04Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。