論文の概要: Dynamically writing coupled memories using a reinforcement learning
agent, meeting physical bounds
- arxiv url: http://arxiv.org/abs/2205.03471v1
- Date: Fri, 6 May 2022 20:33:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-15 13:45:18.889589
- Title: Dynamically writing coupled memories using a reinforcement learning
agent, meeting physical bounds
- Title（参考訳）: 強化学習エージェントを用いた動的結合記憶の書込み
- Authors: Th\'eo Jules, Laura Michel, Ad\`ele Douin and Fr\'ed\'eric Lechenault
- Abstract要約: 強化学習エージェントは, 単純なマルチビット機械系の動的応答を利用して, メモリをフル容量に復元できることを示す。
エージェントが3つのスプリングで利用可能なすべての状態に到達する方法を学習できることが示されていますが、いくつかの状態は断熱操作によって到達できないのです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional memory writing operations proceed one bit at a time, where e.g.
an individual magnetic domain is force-flipped by a localized external field.
One way to increase material storage capacity would be to write several bits at
a time in the bulk of the material. However, the manipulation of bits is
commonly done through quasi-static operations. While simple to model, this
method is known to reduce memory capacity. In this paper, we demonstrate how a
reinforcement learning agent can exploit the dynamical response of a simple
multi-bit mechanical system to restore its memory to full capacity. To do so,
we introduce a model framework consisting of a chain of bi-stable springs,
which is manipulated on one end by the external action of the agent. We show
that the agent manages to learn how to reach all available states for three
springs, even though some states are not reachable through adiabatic
manipulation, and that both the training speed and convergence within physical
parameter space are improved using transfer learning techniques. Interestingly,
the agent also points to an optimal design of the system in terms of writing
time. In fact, it appears to learn how to take advantage of the underlying
physics: the control time exhibits a non-monotonic dependence on the internal
dissipation, reaching a minimum at a cross-over shown to verify a mechanically
motivated scaling relation.
- Abstract（参考訳）: 従来のメモリ書き込み操作は一度に1ビット進み、例えば個々の磁気領域が局所化された外部磁場によって力ずくめられる。
材料の貯蔵容量を増やす方法の1つは、材料の大部分に一度に数ビットを書き込むことである。
しかし、ビットの操作は通常準静的演算によって行われる。
モデル化は簡単だが、メモリ容量を減らすことが知られている。
本稿では, 強化学習エージェントが, 単純なマルチビット機械系の動的応答を利用して, メモリをフル容量に復元する方法を実証する。
そこで本研究では,エージェントの外部動作によって一方の端で操作される二安定ばねの連鎖からなるモデルフレームワークを提案する。
エージェントは,断熱的な操作では到達できない状態であっても,3つのバネに対して利用可能なすべての状態への到達方法を学習でき,物理パラメータ空間内のトレーニング速度と収束性はトランスファー学習技術によって改善されていることを示す。
興味深いことに、エージェントは書き込み時間の観点からシステムの最適な設計も指している。
制御時間は、内部散逸に対する非単調な依存を示し、機械的に動機づけられたスケーリング関係を検証するために示されるクロスオーバーで最小に達する。
関連論文リスト
- Hierarchical Working Memory and a New Magic Number [1.024113475677323]
本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。
我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
論文 参考訳（メタデータ） (2024-08-14T16:03:47Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Spatially-Aware Transformer for Embodied Agents [20.498778205143477]
本稿では,空間情報を含む空間認識変換器モデルの利用について検討する。
メモリ利用効率が向上し,様々な場所中心の下流タスクにおいて精度が向上することが実証された。
また,強化学習に基づくメモリ管理手法であるAdaptive Memory Allocatorを提案する。
論文 参考訳（メタデータ） (2024-02-23T07:46:30Z) - Semantic HELM: A Human-Readable Memory for Reinforcement Learning [9.746397419479445]
人間の言語における過去の出来事を表現する新しい記憶機構を提案する。
私たちは、部分的に観測可能な環境のセットでメモリメカニズムをトレーニングし、それがメモリコンポーネントを必要とするタスクに優れていることを見つけます。
メモリメカニズムは人間が読めるので、エージェントのメモリを覗き見して、重要な情報が保存されているかどうかを確認することができます。
論文 参考訳（メタデータ） (2023-06-15T17:47:31Z) - Two-Memory Reinforcement Learning [7.021281655855703]
エピソード記憶と強化学習には、それぞれ独自の長所と短所がある。
本稿では,2次元記憶と強化学習を組み合わせた2次元記憶強化学習エージェント (2M) を提案する。
実験により,2Mエージェントはよりデータ効率が高く,純粋なエピソード記憶と純粋な強化学習の両方に優れることが示された。
論文 参考訳（メタデータ） (2023-04-20T05:39:25Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳（メタデータ） (2021-11-22T11:23:01Z) - Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
本稿では, 音素の効率的な微分可能シミュレーション法を提案する。
これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。
提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
論文 参考訳（メタデータ） (2021-09-16T04:48:13Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳（メタデータ） (2021-04-07T01:08:18Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳（メタデータ） (2020-08-26T17:23:40Z) - Data-Driven Continuum Dynamics via Transport-Teleport Duality [0.0]
古典力学を表現するための巧妙な数学的変換を,量の消失と再出現のポイントワイズなプロセスとして導入する。
実世界のオブジェクトのダイナミクスを学ぶのに、観測データと単純な学習モデルだけで十分であることを示す。
論文 参考訳（メタデータ） (2020-05-27T13:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。