論文の概要: MEGA: xLSTM with Multihead Exponential Gated Fusion for Precise Aspect-based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2507.01213v1
• Date: Tue, 01 Jul 2025 22:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.946099
• Title: MEGA: xLSTM with Multihead Exponential Gated Fusion for Precise Aspect-based Sentiment Analysis
• Title（参考訳）: MEGA: xLSTMによる精密アスペクトベース感度解析
• Authors: Adamu Lawan, Juhua Pu, Haruna Yunusa, Jawad Muhammad, Muhammad Lawan,
• Abstract要約: Aspect-based Sentiment Analysis (ABSA)は、テキストからアスペクトを抽出し、関連する感情を決定する、重要な自然言語処理(NLP)タスクである。 既存のABSA法は、計算効率と高性能のバランスをとるのに苦労している。 我々は、双方向のmLSTMアーキテクチャを前方と後方に部分的に反転させる新しいフレームワークであるMultihead Exponential Gated Fusion (MEGA) を用いて、xLSTMを提案する。
• 参考スコア（独自算出の注目度）: 2.9045498954705886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aspect-based Sentiment Analysis (ABSA) is a critical Natural Language Processing (NLP) task that extracts aspects from text and determines their associated sentiments, enabling fine-grained analysis of user opinions. Existing ABSA methods struggle to balance computational efficiency with high performance: deep learning models often lack global context, transformers demand significant computational resources, and Mamba-based approaches face CUDA dependency and diminished local correlations. Recent advancements in Extended Long Short-Term Memory (xLSTM) models, particularly their efficient modeling of long-range dependencies, have significantly advanced the NLP community. However, their potential in ABSA remains untapped. To this end, we propose xLSTM with Multihead Exponential Gated Fusion (MEGA), a novel framework integrating a bi-directional mLSTM architecture with forward and partially flipped backward (PF-mLSTM) streams. The PF-mLSTM enhances localized context modeling by processing the initial sequence segment in reverse with dedicated parameters, preserving critical short-range patterns. We further introduce an mLSTM-based multihead cross exponential gated fusion mechanism (MECGAF) that dynamically combines forward mLSTM outputs as query and key with PF-mLSTM outputs as value, optimizing short-range dependency capture while maintaining global context and efficiency. Experimental results on three benchmark datasets demonstrate that MEGA outperforms state-of-the-art baselines, achieving superior accuracy and efficiency in ABSA tasks.
• Abstract（参考訳）: Aspect-based Sentiment Analysis (ABSA)は、テキストからアスペクトを抽出し、関連する感情を判断し、ユーザの意見のきめ細かい分析を可能にする、重要な自然言語処理(NLP)タスクである。 既存のABSA手法は計算効率と高い性能のバランスをとるのに苦労している: ディープラーニングモデルはグローバルな文脈を欠くことが多く、トランスフォーマーは重要な計算資源を必要とし、MambaベースのアプローチはCUDAの依存性に直面し、局所的な相関を減少させる。 拡張長短期記憶(xLSTM)モデルの最近の進歩、特に長距離依存の効率的なモデリングは、NLPコミュニティを著しく進歩させてきた。 しかし、ABSAのポテンシャルは未解決のままである。 そこで本稿では,Multihead Exponential Gated Fusion (MEGA) を用いた xLSTM を提案する。 PF-mLSTMは、初期シーケンスセグメントを専用のパラメータで逆処理し、重要な短距離パターンを保存することにより、局所化されたコンテキストモデリングを強化する。 さらに,MLSTM をクエリとして,キーとして前方 mLSTM 出力と PF-mLSTM 出力とを動的に結合する,MECGAF (MLSTM-based multihead cross index gated fusion mechanism) を導入する。 3つのベンチマークデータセットによる実験結果から、MEGAは最先端のベースラインより優れ、ABSAタスクの精度と効率が優れていることが示された。

関連論文リスト

• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• Co-Training Vision Language Models for Remote Sensing Multi-task Learning [68.15604397741753]
  視覚言語モデル(VLM)は、RS画像理解、グラウンド化、超高解像度(UHR)画像推論において有望な結果を得た。 本稿では,RSMTLのための簡易かつ柔軟なVLMベースラインであるRSCoVLMを提案する。 本稿では、RS画像に固有の多様な画像スケールに対処する、統一された動的解像度戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-26T10:55:07Z)
• xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity [22.40851170527]
  スケーリング法則は、大規模言語モデルの成功において中心的な役割を果たす。 xLSTMのような最近の選択肢は、コンテキスト長に関する線形複雑性を提供する。 xLSTMの利点は、トレーニングと推論のコンテキストが大きくなるにつれて拡大します。
  論文  参考訳（メタデータ） (2025-10-02T17:14:34Z)
• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• xLSTMAD: A Powerful xLSTM-based Method for Anomaly Detection [0.794682109939797]
  フルエンコーダ・デコーダxLSTMアーキテクチャを統合した最初の異常検出手法であるxLSTMADを提案する。 実世界の17のデータセットにまたがる包括的TSB-AD-Mベンチマークを用いて,本手法の評価を行った。 以上の結果から、xLSTMは最先端の精度を示し、23の異常検出基準を上回りました。
  論文  参考訳（メタデータ） (2025-06-28T10:39:09Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Comprehensive Attribute Encoding and Dynamic LSTM HyperModels for Outcome Oriented Predictive Business Process Monitoring [5.634923879819779]
  予測的ビジネスプロセスモニタリングは、進行中のビジネスプロセスの将来の結果を予測することを目的としています。 既存のメソッドは、同時イベントやクラス不均衡、マルチレベル属性といった現実世界の課題を扱う柔軟性に欠けることが多い。 本稿では,イベント属性とシーケンス属性の2レベル階層符号化を統合した動的LSTMハイパーモデルを提案する。 多次元埋め込みと時間差フラグ拡張を活用する、同時イベントモデリングのための特殊なLSTM変種。
  論文  参考訳（メタデータ） (2025-06-04T08:27:58Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• MAL: Cluster-Masked and Multi-Task Pretraining for Enhanced xLSTM Vision Performance [2.45239928345171]
  MAL(Cluster-Masked and Multi-Task Pretraining for Enhanced xLSTM Vision Performance)を導入する。 本稿では,局所的な特徴の捕捉を大幅に改善し,画像スキャン効率を最適化するクラスタマスキング手法を提案する。 我々のユニバーサルエンコーダ・デコーダ事前訓練アプローチは、画像自己回帰、深さ推定、画像分割を含む複数のタスクを統合し、様々な視覚的タスクにおけるモデルの適応性と堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-12-14T07:58:24Z)
• Unlocking the Power of LSTM for Long Term Time Series Forecasting [27.245021350821638]
  本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-08-19T13:59:26Z)
• xLSTM: Extended Long Short-Term Memory [26.607656211983155]
  1990年代、Long Short-Term Memory (LSTM) の中心概念として、定数エラーカルーセルとゲーティングが導入された。 正規化と安定化を適切に行う指数ゲーティングを導入する。 i)スカラーメモリ,スカラー更新,新しいメモリ混合,(ii)行列メモリと共分散更新ルールと完全に並列化可能なmLSTM。
  論文  参考訳（メタデータ） (2024-05-07T17:50:21Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture Instantaneous and Long-term Effects in Time Series [26.378073712630467]
  LSTMの解釈性を改善するために,分解に基づく線形説明可能LSTM(DeLELSTM)を提案する。 3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:45:41Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
  Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。 そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。 rev-to-SNN変換フレームワーク、続いてSNNトレーニング。 我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
  論文  参考訳（メタデータ） (2022-10-23T04:10:27Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box [10.412912723760172]
  長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。 我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
  論文  参考訳（メタデータ） (2020-05-05T14:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。