論文の概要: Show, Don't Tell: Learning Reward Machines from Demonstrations for Reinforcement Learning-Based Cardiac Pacemaker Synthesis

• arxiv url: http://arxiv.org/abs/2411.01750v1
• Date: Mon, 04 Nov 2024 02:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:27:29.727730
• Title: Show, Don't Tell: Learning Reward Machines from Demonstrations for Reinforcement Learning-Based Cardiac Pacemaker Synthesis
• Title（参考訳）: Show, Don't Tell: Learning Reward Machines from Demonstrations for Reinforcement Learning-based Cardiac Pacemaker Synthesis
• Authors: John Komp, Dananjay Srinivas, Maria Pacheco, Ashutosh Trivedi,
• Abstract要約: Reinforcement Learning (RL) は、最近、創造的デザイン空間探索のためのパフォーマンスアルゴリズムとして提案されている。 Boston Scientificは2007年にペースメーカー仕様の詳細を公表した。 報奨機の形でラベル付きデモンストレーションから正当性仕様を学習する可能性を探る。
• 参考スコア（独自算出の注目度）: 4.9873153106566575
• License:
• Abstract: An (artificial cardiac) pacemaker is an implantable electronic device that sends electrical impulses to the heart to regulate the heartbeat. As the number of pacemaker users continues to rise, so does the demand for features with additional sensors, adaptability, and improved battery performance. Reinforcement learning (RL) has recently been proposed as a performant algorithm for creative design space exploration, adaptation, and statistical verification of cardiac pacemakers. The design of correct reward functions, expressed as a reward machine, is a key programming activity in this process. In 2007, Boston Scientific published a detailed description of their pacemaker specifications. This document has since formed the basis for several formal characterizations of pacemaker specifications using real-time automata and logic. However, because these translations are done manually, they are challenging to verify. Moreover, capturing requirements in automata or logic is notoriously difficult. We posit that it is significantly easier for domain experts, such as electrophysiologists, to observe and identify abnormalities in electrocardiograms that correspond to patient-pacemaker interactions. Therefore, we explore the possibility of learning correctness specifications from such labeled demonstrations in the form of a reward machine and training an RL agent to synthesize a cardiac pacemaker based on the resulting reward machine. We leverage advances in machine learning to extract signals from labeled demonstrations as reward machines using recurrent neural networks and transformer architectures. These reward machines are then used to design a simple pacemaker with RL. Finally, we validate the resulting pacemaker using properties extracted from the Boston Scientific document.
• Abstract（参考訳）: ペースメーカー(英: pacemaker)は、心臓の鼓動を調節するために心臓に電気的インパルスを送る、移植可能な電子機器である。 ペースメーカーユーザーの数が増えるにつれて、センサーの追加、適応性、バッテリー性能の向上といった機能への需要も高まる。 Reinforcement Learning (RL) は、最近、心臓ペースメーカーの創造的空間探索、適応、統計的検証のためのパフォーマンスアルゴリズムとして提案されている。 報酬機として表現される正しい報酬関数の設計は、このプロセスにおける重要なプログラミング活動である。 2007年、ボストン・サイエンティフィックはペースメーカーの仕様の詳細を公表した。 この文書はその後、リアルタイムオートマトンと論理を用いたペースメーカー仕様のいくつかの形式的特徴付けの基礎を形成した。 しかし、これらの翻訳は手作業で行われるため、検証は困難である。 さらに、オートマトンやロジックで要求を捉えることは、非常に難しい。 患者とペースメーカーの相互作用に対応する心電図の異常を観察し,同定することは,電気生理学などの領域の専門家にとって極めて容易であると考えられた。 そこで、報奨機という形でラベル付きデモンストレーションから正当性仕様を学習し、RLエージェントを訓練し、その結果の報奨機に基づいて心臓ペースメーカーを合成する可能性を探る。 我々は機械学習の進歩を利用して、リカレントニューラルネットワークとトランスフォーマーアーキテクチャを用いて、ラベル付きデモから信号を取り出す。 これらの報酬機は、RLを用いたシンプルなペースメーカーの設計に使用される。 最後に,ボストン・サイエンティフィック文書から抽出した特性を用いてペースメーカーの有効性を検証した。

関連論文リスト

• Enhancing Electrocardiogram Signal Analysis Using NLP-Inspired Techniques: A Novel Approach with Embedding and Self-Attention [2.7651063843287718]
  埋め込みと自己注意に基づく新しい心電図解析手法を提案し,心電図データの空間的および時間的依存性を捉える。 91%の精度でF1スコアが得られた。
  論文  参考訳（メタデータ） (2024-07-15T12:20:15Z)
• Automatic Cardiac Pathology Recognition in Echocardiography Images Using Higher Order Dynamic Mode Decomposition and a Vision Transformer for Small Datasets [2.0286377328378737]
  心臓病は、人間の機能不全の主な原因だ。WHOによると、心臓病のために毎年約1800万人が死亡している。 本研究では,新しい深層学習フレームワークに基づく自動心臓病理診断システムを提案する。
  論文  参考訳（メタデータ） (2024-04-30T14:16:45Z)
• Robust automated calcification meshing for biomechanical cardiac digital twins [7.253614989403737]
  本稿では、患者固有の石灰化を所定の心臓メッシュに堅牢に組み込むことができるエンドツーエンドの自動メッシュアルゴリズムを提案する。 このアルゴリズムは、手動メッシュの数時間から、自動計算の$sim$1分までの大幅なスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-03-08T02:25:44Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems [79.07468367923619]
  ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。 我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。 提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-19T16:49:32Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Machine Learning-based Efficient Ventricular Tachycardia Detection Model of ECG Signal [0.0]
  心不全の一次診断と解析において、心電図信号は重要な役割を果たす。 本稿では,ノイズフィルタを用いた心室頻拍不整脈の予測モデル,心電図の特徴セット,機械学習に基づく分類モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-24T05:56:09Z)
• Deep Metric Learning with Locality Sensitive Angular Loss for Self-Correcting Source Separation of Neural Spiking Signals [77.34726150561087]
  本稿では, 深層学習に基づく手法を提案し, 自動掃除とロバスト分離フィルタの必要性に対処する。 本手法は, ソース分離した高密度表面筋電図記録に基づいて, 人工的に劣化したラベルセットを用いて検証する。 このアプローチにより、ニューラルネットワークは、信号のラベル付けの不完全な方法を使用して、神経生理学的時系列を正確に復号することができる。
  論文  参考訳（メタデータ） (2021-10-13T21:51:56Z)
• ECG-Based Heart Arrhythmia Diagnosis Through Attentional Convolutional Neural Networks [9.410102957429705]
  本稿では,意図に基づく畳み込みニューラルネットワーク(ABCNN)を用いて生の心電図信号に対処し,正確な不整脈検出のための情報的依存関係を自動的に抽出する手法を提案する。 我々の主な課題は、正常な心拍から不整脈を見つけ、その間に5種類の不整脈から心疾患を正確に認識することである。 実験の結果,提案するABCNNは広く使用されているベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-08-18T14:55:46Z)
• Noise-Resilient Automatic Interpretation of Holter ECG Recordings [67.59562181136491]
  本稿では,ホルター記録を雑音に頑健に解析する3段階プロセスを提案する。 第1段階は、心拍位置を検出する勾配デコーダアーキテクチャを備えたセグメンテーションニューラルネットワーク(NN)である。 第2段階は、心拍を幅または幅に分類する分類NNである。 第3のステージは、NN機能の上に、患者対応機能を組み込んだ強化決定木(GBDT)である。
  論文  参考訳（メタデータ） (2020-11-17T16:15:49Z)
• Motion Pyramid Networks for Accurate and Efficient Cardiac Motion Estimation [51.72616167073565]
  本研究では,心臓の運動推定を高精度かつ効率的に行うための,ディープラーニングに基づく新しいアプローチであるMotion Pyramid Networksを提案する。 我々は、複数の特徴表現から運動場のピラミッドを予測し、融合し、より洗練された運動場を生成する。 そこで我々は,新しい循環型教員教育戦略を用いて,推論をエンドツーエンドにし,トラッキング性能をさらに向上させる。
  論文  参考訳（メタデータ） (2020-06-28T21:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。