論文の概要: Towards AI-controlled FES-restoration of arm movements: Controlling for
progressive muscular fatigue with Gaussian state-space models
- arxiv url: http://arxiv.org/abs/2301.04005v1
- Date: Tue, 10 Jan 2023 14:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 17:58:04.492729
- Title: Towards AI-controlled FES-restoration of arm movements: Controlling for
progressive muscular fatigue with Gaussian state-space models
- Title（参考訳）: 腕運動のAI制御FES回復に向けて:ガウス状態空間モデルによる進行性筋疲労の制御
- Authors: Nat Wannawas and A.Aldo Faisal
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、異なる設定でカスタマイズされた制御ルールを管理するための有望なアプローチである。
しかし、FES系をRLに制御する上で残る課題は、保存不能な筋肉疲労である。
本稿では, 筋疲労問題に対処し, RLコントローラの制御性能を向上する手法を提案する。
- 参考スコア（独自算出の注目度）: 6.320141734801679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reaching disability limits an individual's ability in performing daily tasks.
Surface Functional Electrical Stimulation (FES) offers a non-invasive solution
to restore lost ability. However, inducing desired movements using FES is still
an open engineering problem. This problem is accentuated by the complexities of
human arms' neuromechanics and the variations across individuals. Reinforcement
Learning (RL) emerges as a promising approach to govern customised control
rules for different settings. Yet, one remaining challenge of controlling FES
systems for RL is unobservable muscle fatigue that progressively changes as an
unknown function of the stimulation, thereby breaking the Markovian assumption
of RL. In this work, we present a method to address the unobservable muscle
fatigue issue, allowing our RL controller to achieve higher control
performances. Our method is based on a Gaussian State-Space Model (GSSM) that
utilizes recurrent neural networks to learn Markovian state-spaces from partial
observations. The GSSM is used as a filter that converts the observations into
the state-space representation for RL to preserve the Markovian assumption.
Here, we start with presenting the modification of the original GSSM to address
an overconfident issue. We then present the interaction between RL and the
modified GSSM, followed by the setup for FES control learning. We test our
RL-GSSM system on a planar reaching setting in simulation using a detailed
neuromechanical model. The results show that the GSSM can help improve the RL's
control performance to the comparable level of the ideal case that the fatigue
is observable.
- Abstract（参考訳）: 障害に達することは、日々の作業を行う個人の能力を制限する。
表面機能電気刺激(FES)は、失われた能力を回復するための非侵襲的な解決策を提供する。
しかし、FESを用いて所望の動作を誘導することは、まだオープンエンジニアリングの問題である。
この問題は、人間の腕の神経機構の複雑さと個人間の多様性によって強調される。
強化学習(rl)は、異なる設定でカスタマイズされた制御ルールを管理するための有望なアプローチとして現れる。
しかし、RLのFES系を制御するための残る課題は、刺激の未知の機能として徐々に変化し、RLのマルコフ的仮定を破る、観測不能な筋肉疲労である。
本研究では, 筋疲労問題に対処し, RLコントローラの制御性能を向上させる方法を提案する。
本手法は,繰り返しニューラルネットワークを用いて部分観測からマルコフ状態空間を学習するガウス状態空間モデル(GSSM)に基づく。
gssm は、観察を rl の状態空間表現に変換し、マルコフの仮定を保存するフィルターとして用いられる。
ここでは、過信問題に対処するため、元のGSSMの変更を提示することから始める。
次に、RLと改良GSSMの相互作用を示し、次にFES制御学習のセットアップを示す。
シミュレーションの平面到達設定において,神経力学モデルを用いてrl-gssmシステムをテストした。
その結果、GSSMはRLの制御性能を、疲労が観測可能な理想ケースの同等レベルまで向上させることができることがわかった。
関連論文リスト
- Symmetric Reinforcement Learning Loss for Robust Learning on Diverse Tasks and Model Scales [13.818149654692863]
強化学習(RL)トレーニングは、移動目標や高勾配分散などの要因により本質的に不安定である。
本研究では,雑音データに対する教師付き学習から逆クロスエントロピー(RCE)を適用し,対称的なRL損失を定義することにより,RLトレーニングの安定性を向上させる。
論文 参考訳（メタデータ） (2024-05-27T19:28:33Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-29T17:57:46Z) - Towards AI-controlled FES-restoration of arm movements:
neuromechanics-based reinforcement learning for 3-D reaching [6.320141734801679]
機能的電気刺激(FES)は、失われた運動機能を回復することができる。
神経力学モデルは、FES制御法を開発する上で貴重なツールである。
FESによる腕の動きの復元に向けたアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-10T14:50:37Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES [7.4769019455423855]
機能的電気刺激 (FES) は低エネルギー電気信号によって筋収縮を引き起こす技術である。
しかし、望まれる動作を達成するためにFESを適用する方法については、未解決の課題が残っている。
本稿では,患者の刺激を自動的にカスタマイズできる強化学習(Reinforcement Learning, RL)を通じて,FESを制御することを学ぶ。
論文 参考訳（メタデータ） (2022-09-16T10:41:01Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Neural optimal feedback control with local learning rules [67.5926699124528]
運動制御の大きな問題は、脳がどのように遅延と雑音の刺激に直面して適切な動きを計画し実行するかを理解することである。
本稿では,適応カルマンフィルタとモデル自由制御手法を組み合わせた新しいオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-12T20:02:00Z) - MotionHint: Self-Supervised Monocular Visual Odometry with Motion
Constraints [70.76761166614511]
モノクローナルビジュアル・オドメトリー(VO)のための新しい自己教師型アルゴリズムMotionHintを提案する。
我々のMotionHintアルゴリズムは、既存のオープンソースSSM-VOシステムに容易に適用できる。
論文 参考訳（メタデータ） (2021-09-14T15:35:08Z) - Residual Reinforcement Learning from Demonstrations [51.56457466788513]
報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。
視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。
6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
論文 参考訳（メタデータ） (2021-06-15T11:16:49Z) - Reinforcement Learning of Musculoskeletal Control from Functional
Simulations [3.94716580540538]
本研究は、深部強化学習(DRL)に基づく逆動力学制御器を用いて、人間の肩の生体力学的モデルによる筋活動の制御を訓練する。
その結果,無作為に発生する角軌道に追従する作業に対して,肩下降の単一軸運動制御を行うことができた。
論文 参考訳（メタデータ） (2020-07-13T20:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。