論文の概要: Differentially Encoded Observation Spaces for Perceptive Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2310.01767v1
• Date: Tue, 3 Oct 2023 03:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:44:49.248099
• Title: Differentially Encoded Observation Spaces for Perceptive Reinforcement Learning
• Title（参考訳）: 知覚強化学習のための微分符号化観測空間
• Authors: Lev Grossman and Brian Plancher
• Abstract要約: DRL対応システムのトレーニングは、信じられないほど計算量とメモリ集約性を維持している。 我々は、差分符号化された観測空間を利用して、トレーニング性能に影響を与えることなく、リプレイバッファを圧縮する。 Atari 2600ベンチマークとDeepMind Control Suite (DMC) から, メモリフットプリントを最大14.2倍, 16.7倍削減した。
• 参考スコア（独自算出の注目度）: 6.71537721907786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Perceptive deep reinforcement learning (DRL) has lead to many recent breakthroughs for complex AI systems leveraging image-based input data. Applications of these results range from super-human level video game agents to dexterous, physically intelligent robots. However, training these perceptive DRL-enabled systems remains incredibly compute and memory intensive, often requiring huge training datasets and large experience replay buffers. This poses a challenge for the next generation of field robots that will need to be able to learn on the edge in order to adapt to their environments. In this paper, we begin to address this issue through differentially encoded observation spaces. By reinterpreting stored image-based observations as a video, we leverage lossless differential video encoding schemes to compress the replay buffer without impacting training performance. We evaluate our approach with three state-of-the-art DRL algorithms and find that differential image encoding reduces the memory footprint by as much as 14.2x and 16.7x across tasks from the Atari 2600 benchmark and the DeepMind Control Suite (DMC) respectively. These savings also enable large-scale perceptive DRL that previously required paging between flash and RAM to be run entirely in RAM, improving the latency of DMC tasks by as much as 32%.
• Abstract（参考訳）: 知覚的深層学習(DRL)は、画像ベースの入力データを活用する複雑なAIシステムにおいて、近年多くのブレークスルーをもたらしている。 これらの結果の応用は、超人間レベルのビデオゲームエージェントから、巧妙で物理的に知的なロボットまで様々である。 しかしながら、これらの知覚的なDRL対応システムのトレーニングは、信じられないほど計算とメモリ集約であり、多くの場合、巨大なトレーニングデータセットと大きなエクスペリエンスの再生バッファを必要とする。 これは、環境に適応するためにエッジで学習する必要がある次世代フィールドロボットにとって、課題となる。 本稿では,差分符号化された観測空間を通してこの問題に対処し始める。 記憶された画像に基づく観察をビデオとして再解釈することにより、損失のない差分符号化方式を利用して、トレーニング性能に影響を与えることなくリプレイバッファを圧縮する。 我々は3つの最先端drlアルゴリズムを用いてこのアプローチを評価し、差分画像エンコーディングにより、atari 2600ベンチマークとdmc(deepmind control suite)のタスク間で、メモリフットプリントを最大14.2倍と16.7倍削減できることを見出した。 これらの節約により、フラッシュとRAM間のページングをRAMで完全に実行する必要のある大規模な知覚型DRLも実現され、DMCタスクのレイテンシを最大32%向上する。

関連論文リスト

• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• A Memory Efficient Deep Reinforcement Learning Approach For Snake Game Autonomous Agents [0.799536002595393]
  本稿では,環境情報の追加を必要とせず,圧縮画像データに合理的に適合する改良DRL法を提案する。 我々は,Q-networkの変種である軽量畳み込みニューラルネットワーク(CNN)を設計した。
  論文  参考訳（メタデータ） (2023-01-27T20:26:48Z)
• EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
  ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。 リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。 提案手法は,MVAの計算とメモリ要求を大幅に低減する。
  論文  参考訳（メタデータ） (2022-11-19T09:57:01Z)
• Just Round: Quantized Observation Spaces Enable Memory Efficient Learning of Dynamic Locomotion [0.7106986689736827]
  深層強化学習モデルのトレーニングは計算とメモリ集約である。 観測空間の量子化は、学習性能に影響を与えることなく、全体のメモリコストを4.2倍に削減する。
  論文  参考訳（メタデータ） (2022-10-14T19:14:47Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
  Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。 ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。 オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-14T19:11:13Z)
• Spatiotemporal Contrastive Video Representation Learning [87.56145031149869]
  ラベルのないビデオから視覚的表現を学習するための,自己指導型コントラスト映像表現学習(CVRL)法を提案する。 我々の表現は、コントラスト時間的損失を用いて学習され、同じ短いビデオから2つの強化されたクリップが埋め込み空間にまとめられる。 本研究では,ビデオ自己教師型学習におけるデータ向上の要因について検討し,空間的情報と時間的情報の両方が重要であることを明らかにする。
  論文  参考訳（メタデータ） (2020-08-09T19:58:45Z)
• DeepFLASH: An Efficient Network for Learning-based Medical Image Registration [8.781861951759948]
  DeepFLASHは、学習に基づく医用画像登録のための効率的なトレーニングと推論を行う新しいネットワークである。 我々は2次元合成データと3次元実脳磁気共鳴(MR)画像の2つの異なる画像登録法でアルゴリズムを実証した。
  論文  参考訳（メタデータ） (2020-04-05T05:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。