論文の概要: MEGA: xLSTM with Multihead Exponential Gated Fusion for Precise Aspect-based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2507.01213v1
• Date: Tue, 01 Jul 2025 22:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.946099
• Title: MEGA: xLSTM with Multihead Exponential Gated Fusion for Precise Aspect-based Sentiment Analysis
• Title（参考訳）: MEGA: xLSTMによる精密アスペクトベース感度解析
• Authors: Adamu Lawan, Juhua Pu, Haruna Yunusa, Jawad Muhammad, Muhammad Lawan,
• Abstract要約: Aspect-based Sentiment Analysis (ABSA)は、テキストからアスペクトを抽出し、関連する感情を決定する、重要な自然言語処理(NLP)タスクである。 既存のABSA法は、計算効率と高性能のバランスをとるのに苦労している。 我々は、双方向のmLSTMアーキテクチャを前方と後方に部分的に反転させる新しいフレームワークであるMultihead Exponential Gated Fusion (MEGA) を用いて、xLSTMを提案する。
• 参考スコア（独自算出の注目度）: 2.9045498954705886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aspect-based Sentiment Analysis (ABSA) is a critical Natural Language Processing (NLP) task that extracts aspects from text and determines their associated sentiments, enabling fine-grained analysis of user opinions. Existing ABSA methods struggle to balance computational efficiency with high performance: deep learning models often lack global context, transformers demand significant computational resources, and Mamba-based approaches face CUDA dependency and diminished local correlations. Recent advancements in Extended Long Short-Term Memory (xLSTM) models, particularly their efficient modeling of long-range dependencies, have significantly advanced the NLP community. However, their potential in ABSA remains untapped. To this end, we propose xLSTM with Multihead Exponential Gated Fusion (MEGA), a novel framework integrating a bi-directional mLSTM architecture with forward and partially flipped backward (PF-mLSTM) streams. The PF-mLSTM enhances localized context modeling by processing the initial sequence segment in reverse with dedicated parameters, preserving critical short-range patterns. We further introduce an mLSTM-based multihead cross exponential gated fusion mechanism (MECGAF) that dynamically combines forward mLSTM outputs as query and key with PF-mLSTM outputs as value, optimizing short-range dependency capture while maintaining global context and efficiency. Experimental results on three benchmark datasets demonstrate that MEGA outperforms state-of-the-art baselines, achieving superior accuracy and efficiency in ABSA tasks.
• Abstract（参考訳）: Aspect-based Sentiment Analysis (ABSA)は、テキストからアスペクトを抽出し、関連する感情を判断し、ユーザの意見のきめ細かい分析を可能にする、重要な自然言語処理(NLP)タスクである。 既存のABSA手法は計算効率と高い性能のバランスをとるのに苦労している: ディープラーニングモデルはグローバルな文脈を欠くことが多く、トランスフォーマーは重要な計算資源を必要とし、MambaベースのアプローチはCUDAの依存性に直面し、局所的な相関を減少させる。 拡張長短期記憶(xLSTM)モデルの最近の進歩、特に長距離依存の効率的なモデリングは、NLPコミュニティを著しく進歩させてきた。 しかし、ABSAのポテンシャルは未解決のままである。 そこで本稿では,Multihead Exponential Gated Fusion (MEGA) を用いた xLSTM を提案する。 PF-mLSTMは、初期シーケンスセグメントを専用のパラメータで逆処理し、重要な短距離パターンを保存することにより、局所化されたコンテキストモデリングを強化する。 さらに,MLSTM をクエリとして,キーとして前方 mLSTM 出力と PF-mLSTM 出力とを動的に結合する,MECGAF (MLSTM-based multihead cross index gated fusion mechanism) を導入する。 3つのベンチマークデータセットによる実験結果から、MEGAは最先端のベースラインより優れ、ABSAタスクの精度と効率が優れていることが示された。

関連論文リスト

• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Comprehensive Attribute Encoding and Dynamic LSTM HyperModels for Outcome Oriented Predictive Business Process Monitoring [5.634923879819779]
  予測的ビジネスプロセスモニタリングは、進行中のビジネスプロセスの将来の結果を予測することを目的としています。 既存のメソッドは、同時イベントやクラス不均衡、マルチレベル属性といった現実世界の課題を扱う柔軟性に欠けることが多い。 本稿では,イベント属性とシーケンス属性の2レベル階層符号化を統合した動的LSTMハイパーモデルを提案する。 多次元埋め込みと時間差フラグ拡張を活用する、同時イベントモデリングのための特殊なLSTM変種。
  論文  参考訳（メタデータ） (2025-06-04T08:27:58Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• MAL: Cluster-Masked and Multi-Task Pretraining for Enhanced xLSTM Vision Performance [2.45239928345171]
  MAL(Cluster-Masked and Multi-Task Pretraining for Enhanced xLSTM Vision Performance)を導入する。 本稿では,局所的な特徴の捕捉を大幅に改善し,画像スキャン効率を最適化するクラスタマスキング手法を提案する。 我々のユニバーサルエンコーダ・デコーダ事前訓練アプローチは、画像自己回帰、深さ推定、画像分割を含む複数のタスクを統合し、様々な視覚的タスクにおけるモデルの適応性と堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-12-14T07:58:24Z)
• Unlocking the Power of LSTM for Long Term Time Series Forecasting [27.245021350821638]
  本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-08-19T13:59:26Z)
• Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box [10.412912723760172]
  長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。 我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
  論文  参考訳（メタデータ） (2020-05-05T14:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。