論文の概要: LISTA-Transformer Model Based on Sparse Coding and Attention Mechanism and Its Application in Fault Diagnosis

• arxiv url: http://arxiv.org/abs/2603.04146v1
• Date: Wed, 04 Mar 2026 15:00:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.362912
• Title: LISTA-Transformer Model Based on Sparse Coding and Attention Mechanism and Its Application in Fault Diagnosis
• Title（参考訳）: スパース符号化とアテンション機構に基づくLISTA変換器モデルとその故障診断への応用
• Authors: Shuang Liu, Lina Zhao, Tian Wang, Huaqing Wang,
• Abstract要約: 局所的かつグローバルな特徴協調機構を備えたモデルアーキテクチャを構築するために,視覚変換器を用いたLISTAスパース符号化に基づくスパース変換器を提案する。 CWRUデータセットでは,従来の手法よりも3.3%高い98.5%に達し,既存のTransformerベースの手法よりも一定の優位性を示した。
• 参考スコア（独自算出の注目度）: 8.734812529767128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driven by the continuous development of models such as Multi-Layer Perceptron, Convolutional Neural Network (CNN), and Transformer, deep learning has made breakthrough progress in fields such as computer vision and natural language processing, and has been successfully applied in practical scenarios such as image classification and industrial fault diagnosis. However, existing models still have certain limitations in local feature modeling and global dependency capture. Specifically, CNN is limited by local receptive fields, while Transformer has shortcomings in effectively modeling local structures, and both face challenges of high model complexity and insufficient interpretability. In response to the above issues, we proposes the following innovative work: A sparse Transformer based on Learnable Iterative Shrinkage Threshold Algorithm (LISTA-Transformer) was designed, which deeply integrates LISTA sparse encoding with visual Transformer to construct a model architecture with adaptive local and global feature collaboration mechanism. This method utilizes continuous wavelet transform to convert vibration signals into time-frequency maps and inputs them into LISTA-Transformer for more effective feature extraction. On the CWRU dataset, the fault recognition rate of our method reached 98.5%, which is 3.3% higher than traditional methods and exhibits certain superiority over existing Transformer-based approaches.
• Abstract（参考訳）: マルチ層パーセプトロン、畳み込みニューラルネットワーク(CNN)、トランスフォーマーといったモデルの継続的な開発によって、ディープラーニングはコンピュータビジョンや自然言語処理などの分野において画期的な進歩を遂げ、画像分類や産業的故障診断などの実践的なシナリオでうまく適用されてきた。 しかし、既存のモデルは、局所的な特徴モデリングとグローバルな依存性キャプチャに一定の制限がある。 具体的には、CNNは局所受容場によって制限されるが、Transformerは局所構造を効果的にモデル化するのに欠点があり、どちらも高いモデル複雑性と不十分な解釈可能性の課題に直面している。 学習可能な反復振れ閾値アルゴリズム(LISTA-Transformer)に基づくスパーストランスフォーマーを設計し、LISTAのスパースエンコーディングをビジュアルトランスフォーマーと深く統合し、局所的およびグローバルな特徴協調機構を備えたモデルアーキテクチャを構築する。 連続ウェーブレット変換を用いて、振動信号を時間周波数マップに変換し、LISTA-Transformerに入力し、より効率的な特徴抽出を行う。 CWRUデータセットでは,従来の手法よりも3.3%高い98.5%に達し,既存のTransformerベースの手法よりも一定の優位性を示した。

関連論文リスト

• DuoFormer: Leveraging Hierarchical Representations by Local and Global Attention Vision Transformer [1.456352735394398]
  本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。 インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。 これらの表現は、革新的なパッチトークン化プロセスを通じてトランスフォーマー入力に適応し、継承されたマルチスケールの帰納バイアスを保存する。
  論文  参考訳（メタデータ） (2025-06-15T22:42:57Z)
• Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors [7.630782404476683]
  本稿では,電力遅延プロファイル (PDP) の可変固有表現を保存する新しいトークン化手法であるSensor Snapshot Tokenization (SST) を提案する。 また,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-14T01:16:30Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Defect Transformer: An Efficient Hybrid Transformer Architecture for Surface Defect Detection [2.0999222360659604]
  表面欠陥検出のための効率的なハイブリッドトランスアーキテクチャであるDefect Transformer (DefT)を提案する。 DefTはCNNとTransformerを統一モデルに組み込んで、局所的および非局所的関係を協調的にキャプチャする。 3つのデータセットの実験は、他のCNNやトランスフォーマーベースのネットワークと比較して、我々の手法の優位性と効率性を実証している。
  論文  参考訳（メタデータ） (2022-07-17T23:37:48Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Shifted Chunk Transformer for Spatio-Temporal Representational Learning [24.361059477031162]
  我々は、純粋な自己注意ブロックを持つシフトチャンク変換器を構築する。 このトランスフォーマーは、小さなパッチからグローバルなビデオクリップまで、階層的な時間的特徴を学習することができる。 Kinetics, Kinetics-600, UCF101, HMDB51の最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2021-08-26T04:34:33Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。