論文の概要: Attention mechanisms for physiological signal deep learning: which
attention should we take?
- arxiv url: http://arxiv.org/abs/2207.06904v1
- Date: Mon, 4 Jul 2022 07:24:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-17 16:03:46.352335
- Title: Attention mechanisms for physiological signal deep learning: which
attention should we take?
- Title(参考訳): 生理信号深層学習の注意機構:どの注意が必要であるか?
- Authors: Seong-A Park, Hyung-Chul Lee, Chul-Woo Jung, Hyun-Lim Yang
- Abstract要約: 我々は,4つのアテンション機構(例えば,圧縮励起,非局所的,畳み込みブロックアテンションモジュール,マルチヘッド自己アテンション)と3つの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験的に解析した。
生理信号深層学習モデルの性能と収束性に関する複数の組み合わせを評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Attention mechanisms are widely used to dramatically improve deep learning
model performance in various fields. However, their general ability to improve
the performance of physiological signal deep learning model is immature. In
this study, we experimentally analyze four attention mechanisms (e.g.,
squeeze-and-excitation, non-local, convolutional block attention module, and
multi-head self-attention) and three convolutional neural network (CNN)
architectures (e.g., VGG, ResNet, and Inception) for two representative
physiological signal prediction tasks: the classification for predicting
hypotension and the regression for predicting cardiac output (CO). We evaluated
multiple combinations for performance and convergence of physiological signal
deep learning model. Accordingly, the CNN models with the spatial attention
mechanism showed the best performance in the classification problem, whereas
the channel attention mechanism achieved the lowest error in the regression
problem. Moreover, the performance and convergence of the CNN models with
attention mechanisms were better than stand-alone self-attention models in both
problems. Hence, we verified that convolutional operation and attention
mechanisms are complementary and provide faster convergence time, despite the
stand-alone self-attention models requiring fewer parameters.
- Abstract(参考訳): 注意機構は様々な分野におけるディープラーニングモデルの性能を劇的に改善するために広く利用されている。
しかし、生理学的信号深層学習モデルの性能を向上させる能力は未熟である。
本研究では,2つの代表的な生理的信号予測タスク(低血圧予測のための分類,心臓出力予測のための回帰)の4つの注意機構(例えば,スクイーズ・アンド・エクスシジョン,非局所,畳み込みブロック・アテンションモジュール,マルチヘッド・セルフアテンション)と3つの畳み込みニューラルネットワーク(cnn)アーキテクチャ(例えば,vgg,resnet,インセプション)を実験的に解析した。
生理的信号深層学習モデルの性能と収束のための複数の組み合わせを評価した。
その結果,空間的注意機構を持つCNNモデルは分類問題において最高の性能を示し,チャネル注意機構は回帰問題において最も低い誤差を達成した。
さらに,注意機構を有するCNNモデルの性能と収束性は,両問題において単独の自己注意モデルよりも優れていた。
したがって,独立自己認識モデルではパラメータの少ないにもかかわらず,畳み込み操作と注意機構が相補的であり,収束時間を短縮できることを確認した。
関連論文リスト
- Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳(メタデータ) (2023-08-19T08:17:41Z) - Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。
SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。
私たちの実装はGitHubで公開されます。
論文 参考訳(メタデータ) (2022-06-15T10:13:34Z) - Guiding Visual Question Answering with Attention Priors [76.21671164766073]
本稿では,言語・視覚的接地による注意機構の導出について述べる。
この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。
このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
論文 参考訳(メタデータ) (2022-05-25T09:53:47Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳(メタデータ) (2022-05-05T05:44:26Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Assessing the Impact of Attention and Self-Attention Mechanisms on the
Classification of Skin Lesions [0.0]
注意モジュールと自己注意という,2種類の注意機構に注目した。
注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。
自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
論文 参考訳(メタデータ) (2021-12-23T18:02:48Z) - Comparison of Attention-based Deep Learning Models for EEG
Classification [0.2770822269241974]
我々は,Deep Learning(DL)モデルにおける異なる種類の注意機構の脳波分類への影響を評価する。
これらのモデルを用いて、正常な脳波パターンと異常な脳波パターンを分類した。
論文 参考訳(メタデータ) (2020-12-02T10:43:41Z) - Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural
Networks [24.02184854949444]
本研究では,アテンション・プルーニング(Attention Pruning,AP)を提案する。これは,固定されたデータセットにおける注意パターンの観測を収集し,そのモデルに対するグローバルなスパースネスマスクを誘導するフレームワークである。
APは、言語モデリングの注意計算の90%を節約し、機械翻訳やGLUEタスクの約50%を処理し、結果の品質を維持している。
我々のフレームワークは原則として、アテンションメカニズムを使用するモデルなら何でもスピードアップできるので、既存のNLPアプリケーションや新しいNLPアプリケーションのためにより良いモデルを開発するのに役立ちます。
論文 参考訳(メタデータ) (2020-11-20T13:58:21Z) - Attention Meets Perturbations: Robust and Interpretable Attention with
Adversarial Training [7.106986689736828]
我々は、自然言語処理タスクのための一般的な訓練手法を提案し、例えば、注意のためのAT(Attention AT)と、注意のためのより解釈可能なAT(Attention iAT)を提案する。
提案手法は,ATによる予測性能とモデル解釈性を改善した。
論文 参考訳(メタデータ) (2020-09-25T07:26:45Z) - Untangling tradeoffs between recurrence and self-attention in neural
networks [81.30894993852813]
本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。
長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。
本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
論文 参考訳(メタデータ) (2020-06-16T19:24:25Z) - Cost-effective Interactive Attention Learning with Neural Attention
Processes [79.8115563067513]
対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。
IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。
我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2020-06-09T17:36:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。