論文の概要: Attention-based Neural Bag-of-Features Learning for Sequence Data

• arxiv url: http://arxiv.org/abs/2005.12250v1
• Date: Mon, 25 May 2020 17:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 05:29:03.135816
• Title: Attention-based Neural Bag-of-Features Learning for Sequence Data
• Title（参考訳）: 注意に基づく時系列データのニューラルネットワーク学習
• Authors: Dat Thanh Tran, Nikolaos Passalis, Anastasios Tefas, Moncef Gabbouj, Alexandros Iosifidis
• Abstract要約: 2D-Attention (2DA) は、シーケンスデータの一般的なアテンション定式化である。 提案したアテンションモジュールは、最近提案されたNeural Bag of Feature(NBoF)モデルに組み込まれ、学習能力を高める。 実験により,提案手法はNBoFモデルの性能を向上させるだけでなく,ノイズに耐性を持つことを示す。
• 参考スコア（独自算出の注目度）: 143.62294358378128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose 2D-Attention (2DA), a generic attention formulation for sequence data, which acts as a complementary computation block that can detect and focus on relevant sources of information for the given learning objective. The proposed attention module is incorporated into the recently proposed Neural Bag of Feature (NBoF) model to enhance its learning capacity. Since 2DA acts as a plug-in layer, injecting it into different computation stages of the NBoF model results in different 2DA-NBoF architectures, each of which possesses a unique interpretation. We conducted extensive experiments in financial forecasting, audio analysis as well as medical diagnosis problems to benchmark the proposed formulations in comparison with existing methods, including the widely used Gated Recurrent Units. Our empirical analysis shows that the proposed attention formulations can not only improve performances of NBoF models but also make them resilient to noisy data.
• Abstract（参考訳）: 本稿では2D-Attention(2DA)を提案する。この2D-Attention(2DA)はシーケンスデータに対する一般的なアテンションの定式化であり,学習対象の関連情報の検出と集中を行う補完的な計算ブロックとして機能する。 提案したアテンションモジュールは、最近提案されたNeural Bag of Feature(NBoF)モデルに組み込まれ、学習能力を高める。 2DAはプラグイン層として機能し、NBoFモデルの異なる計算段階に注入すると異なる2DA-NBoFアーキテクチャが生成される。 我々は,金融予測,音声解析,医療診断に関する広範な実験を行い,Gated Recurrent Unitsなどの既存手法と比較して,提案手法をベンチマークした。 実験結果から,提案手法はnbofモデルの性能を向上させるだけでなく,ノイズデータにも耐性を持つことがわかった。

関連論文リスト

• Feature Attribution with Necessity and Sufficiency via Dual-stage Perturbation Test for Causal Explanation [18.485632810973122]
  FANS(Feature Attribution with Necessity and Sufficiency)を紹介する。 FANSは、この地区内の摂動サンプルが必要かつ十分(PNS)である確率が高く、予測の変化を引き起こすような入力の近傍を見つける。 FANSは6つのベンチマークで既存の属性法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T23:25:01Z)
• Score-based Diffusion Models via Stochastic Differential Equations -- a Technical Tutorial [5.217870815854702]
  本稿では、スコアベース拡散モデルに焦点を当て、微分方程式(SDE)による定式化に特に焦点をあてる。 緩やかな導入の後、拡散モデリングにおける2つの柱、サンプリングとスコアマッチングについて論じる。 提案された結果の主案を説明するための短い証明が与えられる。
  論文  参考訳（メタデータ） (2024-02-12T08:52:35Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Self-Attention Neural Bag-of-Features [103.70855797025689]
  我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。 本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-01-26T17:54:14Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Toward Robust Drug-Target Interaction Prediction via Ensemble Modeling and Transfer Learning [0.0]
  本稿では,DTI予測のための深層学習モデル(EnsembleDLM)のアンサンブルを紹介する。 EnsembleDLMは、化学物質やタンパク質の配列情報のみを使用し、複数のディープニューラルネットワークからの予測を集約する。 DavisとKIBAのデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-07-02T04:00:03Z)
• D-LEMA: Deep Learning Ensembles from Multiple Annotations -- Application to Skin Lesion Segmentation [14.266037264648533]
  画像に対するアノテーションの意見のコレクションを活用することは、ゴールド基準を推定する興味深い方法です。 深層モデル学習時のアノテーションの不一致に対処する手法を提案する。
  論文  参考訳（メタデータ） (2020-12-14T01:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。