論文の概要: Learning to Actively Reduce Memory Requirements for Robot Control Tasks
- arxiv url: http://arxiv.org/abs/2008.07451v2
- Date: Sat, 14 Nov 2020 03:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 04:37:19.066637
- Title: Learning to Actively Reduce Memory Requirements for Robot Control Tasks
- Title(参考訳): ロボット制御タスクにおけるメモリ要求をアクティブに削減する学習
- Authors: Meghan Booker and Anirudha Majumdar
- Abstract要約: ロボットを制御するための最先端のアプローチは、しばしばタスクに過剰にリッチなメモリ表現を使用するか、手作りのトリックをメモリ効率に頼っている。
この研究は、メモリ表現とポリシーを共同で合成するための一般的なアプローチを提供する。
- 参考スコア(独自算出の注目度): 4.302265156822829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robots equipped with rich sensing modalities (e.g., RGB-D cameras) performing
long-horizon tasks motivate the need for policies that are highly
memory-efficient. State-of-the-art approaches for controlling robots often use
memory representations that are excessively rich for the task or rely on
hand-crafted tricks for memory efficiency. Instead, this work provides a
general approach for jointly synthesizing memory representations and policies;
the resulting policies actively seek to reduce memory requirements.
Specifically, we present a reinforcement learning framework that leverages an
implementation of the group LASSO regularization to synthesize policies that
employ low-dimensional and task-centric memory representations. We demonstrate
the efficacy of our approach with simulated examples including navigation in
discrete and continuous spaces as well as vision-based indoor navigation set in
a photo-realistic simulator. The results on these examples indicate that our
method is capable of finding policies that rely only on low-dimensional memory
representations, improving generalization, and actively reducing memory
requirements.
- Abstract(参考訳): 長距離作業を行うリッチセンシングモード(例えばRGB-Dカメラ)を備えたロボットは、メモリ効率の高いポリシーの必要性を動機付けている。
ロボットを制御するための最先端のアプローチは、しばしばタスクに過剰にリッチなメモリ表現を使用するか、手作りのトリックをメモリ効率に頼っている。
代わりに、この作業は、メモリ表現とポリシーを共同で合成するための一般的なアプローチを提供する。
具体的には、低次元およびタスク中心のメモリ表現を用いたポリシーを合成するために、グループLASSO正規化の実装を活用する強化学習フレームワークを提案する。
本手法は, 離散空間および連続空間におけるナビゲーションや, フォトリアリスティックシミュレータにおける視覚に基づく屋内ナビゲーションセットなど, シミュレーション例を用いて, 実効性を示す。
これらの例から,本手法は低次元メモリ表現のみに依存するポリシーを見つけ,一般化を改善し,メモリ要求を積極的に低減できることを示す。
関連論文リスト
- Memory-Inspired Temporal Prompt Interaction for Text-Image
Classification [13.449375069856684]
我々は、人間の記憶戦略、すなわちメモリインスパイアされたテンポラルプロンプトインタラクション(MITP)にインスパイアされた、新しいプロンプトベースのマルチモーダルインタラクション戦略を提案する。
我々は、中間層上の時間的プロンプトを利用して取得段階を模倣し、類似性に基づくプロンプト相互作用を利用してメモリ統合を模倣し、メモリアクティベーションを模倣するプロンプト生成戦略を採用する。
比較的少ないメモリ使用量とトレーニング可能なパラメータの2.0Mのデータセットで競合する結果が得られる。
論文 参考訳(メタデータ) (2024-01-26T13:36:12Z) - Empowering Working Memory for Large Language Model Agents [10.258256252648296]
本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。
エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。
このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
論文 参考訳(メタデータ) (2023-12-22T05:59:00Z) - Analysis of the Memorization and Generalization Capabilities of AI
Agents: Are Continual Learners Robust? [91.682459306359]
連続学習(CL)では、AIエージェントが動的環境下で非定常データストリームから学習する。
本稿では,過去の知識を維持しつつ,動的環境への堅牢な一般化を実現するための新しいCLフレームワークを提案する。
提案フレームワークの一般化と記憶性能を理論的に解析した。
論文 参考訳(メタデータ) (2023-09-18T21:00:01Z) - Think Before You Act: Decision Transformers with Internal Working Memory [39.321873516095714]
大規模言語モデル(LLM)に基づく意思決定エージェントは、複数のタスクをまたいで一般化する能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
本稿では,異なる下流タスクの情報を格納,ブレンド,検索するための内部動作メモリモジュールを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:20:22Z) - Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。
既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。
我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文 参考訳(メタデータ) (2023-04-11T12:12:05Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Composable Learning with Sparse Kernel Representations [110.19179439773578]
再生カーネルヒルベルト空間におけるスパース非パラメトリック制御系を学習するための強化学習アルゴリズムを提案する。
正規化アドバンテージ関数を通じてステートアクション関数の構造を付与することにより、このアプローチのサンプル複雑さを改善します。
2次元環境下を走行しながらレーザースキャナーを搭載したロボットの複数シミュレーションにおける障害物回避政策の学習に関するアルゴリズムの性能を実証する。
論文 参考訳(メタデータ) (2021-03-26T13:58:23Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - End-to-End Egospheric Spatial Memory [32.42361470456194]
Egospheric Spatial Memory (ESM) と呼ばれるパラメータフリーのモジュールを提案し、エージェントの周りの自我圏内のメモリをエンコードする。
ESMは模倣あるいは強化学習を通じてエンドツーエンドでトレーニングすることができる。
ScanNetデータセット上でのセマンティックセグメンテーションへの適用を示す。ESMは画像レベルとマップレベルの推論モダリティを自然に組み合わせている。
論文 参考訳(メタデータ) (2021-02-15T18:59:07Z) - HM4: Hidden Markov Model with Memory Management for Visual Place
Recognition [54.051025148533554]
自律運転における視覚的位置認識のための隠れマルコフモデルを提案する。
我々のアルゴリズムはHM$4$と呼ばれ、時間的ルックアヘッドを利用して、有望な候補画像をパッシブストレージとアクティブメモリ間で転送する。
固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
論文 参考訳(メタデータ) (2020-11-01T08:49:24Z) - Learning to Ignore: Long Document Coreference with Bounded Memory Neural
Networks [65.3963282551994]
我々は、すべてのエンティティをメモリに保持することは不要であると主張し、同時に少数のエンティティだけを追跡するメモリ拡張ニューラルネットワークを提案する。
a)OntoNotesとLitBankの高メモリ・計算要求モデルと競合する傾向にあり,(b)ルールベースの戦略よりも容易に効率の良いメモリ管理戦略を学習できることを示す。
論文 参考訳(メタデータ) (2020-10-06T15:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。