Fugu-MT 論文翻訳(概要): Attention mechanisms for physiological signal deep learning: which attention should we take?

論文の概要: Attention mechanisms for physiological signal deep learning: which attention should we take?

arxiv url: http://arxiv.org/abs/2207.06904v1
Date: Mon, 4 Jul 2022 07:24:08 GMT
ステータス: 処理完了
システム内更新日: 2022-07-17 16:03:46.352335
Title: Attention mechanisms for physiological signal deep learning: which attention should we take?
Title（参考訳）: 生理信号深層学習の注意機構:どの注意が必要であるか?
Authors: Seong-A Park, Hyung-Chul Lee, Chul-Woo Jung, Hyun-Lim Yang
Abstract要約: 我々は,4つのアテンション機構(例えば,圧縮励起,非局所的,畳み込みブロックアテンションモジュール,マルチヘッド自己アテンション)と3つの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験的に解析した。生理信号深層学習モデルの性能と収束性に関する複数の組み合わせを評価した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Attention mechanisms are widely used to dramatically improve deep learning model performance in various fields. However, their general ability to improve the performance of physiological signal deep learning model is immature. In this study, we experimentally analyze four attention mechanisms (e.g., squeeze-and-excitation, non-local, convolutional block attention module, and multi-head self-attention) and three convolutional neural network (CNN) architectures (e.g., VGG, ResNet, and Inception) for two representative physiological signal prediction tasks: the classification for predicting hypotension and the regression for predicting cardiac output (CO). We evaluated multiple combinations for performance and convergence of physiological signal deep learning model. Accordingly, the CNN models with the spatial attention mechanism showed the best performance in the classification problem, whereas the channel attention mechanism achieved the lowest error in the regression problem. Moreover, the performance and convergence of the CNN models with attention mechanisms were better than stand-alone self-attention models in both problems. Hence, we verified that convolutional operation and attention mechanisms are complementary and provide faster convergence time, despite the stand-alone self-attention models requiring fewer parameters.
Abstract（参考訳）: 注意機構は様々な分野におけるディープラーニングモデルの性能を劇的に改善するために広く利用されている。しかし、生理学的信号深層学習モデルの性能を向上させる能力は未熟である。本研究では,2つの代表的な生理的信号予測タスク(低血圧予測のための分類,心臓出力予測のための回帰)の4つの注意機構(例えば,スクイーズ・アンド・エクスシジョン,非局所,畳み込みブロック・アテンションモジュール,マルチヘッド・セルフアテンション)と3つの畳み込みニューラルネットワーク(cnn)アーキテクチャ(例えば,vgg,resnet,インセプション)を実験的に解析した。生理的信号深層学習モデルの性能と収束のための複数の組み合わせを評価した。その結果,空間的注意機構を持つCNNモデルは分類問題において最高の性能を示し,チャネル注意機構は回帰問題において最も低い誤差を達成した。さらに,注意機構を有するCNNモデルの性能と収束性は,両問題において単独の自己注意モデルよりも優れていた。したがって,独立自己認識モデルではパラメータの少ないにもかかわらず,畳み込み操作と注意機構が相補的であり,収束時間を短縮できることを確認した。

関連論文リスト

Rethinking Functional Brain Connectome Analysis: Do Graph Deep Learning Models Help? [26.993152836226084]
4つの大規模神経画像研究に基づくグラフ深層学習モデルの再検討を行った。グラフ深層学習モデルの目印であるメッセージアグリゲーション機構は,通常想定されるような予測性能には役に立たないことがわかった。この問題に対処するために,線形モデルとグラフ注意ネットワークを組み合わせたハイブリッドモデルを提案する。
論文参考訳（メタデータ） (2025-01-28T07:24:16Z)
Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks [0.9499648210774584]
近年、複雑なパターンをキャプチャする能力を改善するため、注意機構がグラフニューラルネットワーク(GNN)に統合されている。本稿では,注意層内におけるMA(Massive Activations)の出現を明らかにした最初の総合的研究について述べる。本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
論文参考訳（メタデータ） (2024-09-05T12:19:07Z)
A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
論文参考訳（メタデータ） (2024-06-19T19:11:22Z)
Self-Attention-Based Contextual Modulation Improves Neural System Identification [2.784365807133169]
一次視覚野の皮質ニューロンは、水平およびフィードバック接続によって媒介される文脈情報に敏感である。 CNNはグローバルなコンテキスト情報を統合し、連続的な畳み込みと完全に接続された読み出し層という2つのメカニズムを通じてコンテキスト変調をモデル化する。自己アテンションは、パラメータマッチングされたCNNよりも2つの重要な指標であるチューニング曲線相関とピークチューニングにおいて、ニューラルネットワークの応答予測を改善することができる。
論文参考訳（メタデータ） (2024-06-12T03:21:06Z)
Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文参考訳（メタデータ） (2023-08-19T08:17:41Z)
Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。私たちの実装はGitHubで公開されます。
論文参考訳（メタデータ） (2022-06-15T10:13:34Z)
Guiding Visual Question Answering with Attention Priors [76.21671164766073]
本稿では,言語・視覚的接地による注意機構の導出について述べる。この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
論文参考訳（メタデータ） (2022-05-25T09:53:47Z)
Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文参考訳（メタデータ） (2022-05-05T05:44:26Z)
Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions [0.0]
注意モジュールと自己注意という,2種類の注意機構に注目した。注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
論文参考訳（メタデータ） (2021-12-23T18:02:48Z)
Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
論文参考訳（メタデータ） (2020-06-16T19:24:25Z)
Cost-effective Interactive Attention Learning with Neural Attention Processes [79.8115563067513]
対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。 IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
論文参考訳（メタデータ） (2020-06-09T17:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。