論文の概要: Dynamic Bi-Elman Attention Networks: A Dual-Directional Context-Aware Test-Time Learning for Text Classification

• arxiv url: http://arxiv.org/abs/2503.15469v3
• Date: Thu, 27 Mar 2025 09:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:50:18.219675
• Title: Dynamic Bi-Elman Attention Networks: A Dual-Directional Context-Aware Test-Time Learning for Text Classification
• Title（参考訳）: 動的バイエルマン注意ネットワーク:テキスト分類のための双方向コンテキスト認識テスト時間学習
• Authors: ZhengLin Lai, MengYao Liao, Dong Xu,
• Abstract要約: 本稿では,DBEAN(Dynamic Bidirectional Elman with Attention Network)を提案する。 DBEANは双方向時間モデリングと自己認識機構を統合している。 重みを入力のクリティカルセグメントに動的に割り当て、計算効率を維持しながら文脈表現を改善する。
• 参考スコア（独自算出の注目度）: 17.33216148544084
• License:
• Abstract: Text classification, a fundamental task in natural language processing, aims to categorize textual data into predefined labels. Traditional methods struggled with complex linguistic structures and semantic dependencies. However, the advent of deep learning, particularly recurrent neural networks and Transformer-based models, has significantly advanced the field by enabling nuanced feature extraction and context-aware predictions. Despite these improvements, existing models still exhibit limitations in balancing interpretability, computational efficiency, and long-range contextual understanding. To address these challenges, this paper proposes the Dynamic Bidirectional Elman with Attention Network (DBEAN). DBEAN integrates bidirectional temporal modeling with self-attention mechanisms. It dynamically assigns weights to critical segments of input, improving contextual representation while maintaining computational efficiency.
• Abstract（参考訳）: 自然言語処理の基本課題であるテキスト分類は、テキストデータを事前に定義されたラベルに分類することを目的としている。 伝統的な手法は複雑な言語構造と意味的依存関係に苦しんだ。 しかし、ディープラーニング、特にリカレントニューラルネットワークとトランスフォーマーベースのモデルの出現は、ニュアンス付き特徴抽出とコンテキスト認識予測を可能にして、この分野を大幅に進歩させた。 これらの改善にもかかわらず、既存のモデルは解釈可能性、計算効率、長距離文脈理解のバランスの限界をまだ示している。 これらの課題に対処するため,DBEAN(Dynamic Bidirectional Elman with Attention Network)を提案する。 DBEANは双方向時間モデリングと自己認識機構を統合している。 重みを入力のクリティカルセグメントに動的に割り当て、計算効率を維持しながら文脈表現を改善する。

関連論文リスト

• Core Context Aware Attention for Long Context Language Modeling [50.774702091154204]
  本稿では,CCA(Core Context Aware)アテンションを効果的に長距離コンテキストモデリングのためのプラグイン・アンド・プレイとして提案する。 CCA-Attentionは、計算効率と長文モデリング能力の観点から、最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Extractive Text Summarization Using Generalized Additive Models with Interactions for Sentence Selection [0.0]
  本研究は、言語的特徴と二項分類に基づく抽出的要約問題への2つの近代的一般化加法モデル、すなわち説明可能なブースティングマシンとGAMI-Netの適用について研究する。
  論文  参考訳（メタデータ） (2022-12-21T00:56:50Z)
• SDCUP: Schema Dependency-Enhanced Curriculum Pre-Training for Table Semantic Parsing [19.779493883522072]
  本稿では,テーブル事前学習のための学習表現に所望の帰納バイアスを課すために,2つの新しい事前学習目標を設計する。 本稿では,雑音の影響を緩和し,事前学習データから容易にハードな方法で効果的に学習する,スキーマ対応のカリキュラム学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-18T02:51:04Z)
• DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching [52.661387170698255]
  本稿では,注意機構を改善するための新しい動的ガウス注意ネットワーク(DGA-Net)を提案する。 まず、事前学習された言語モデルを用いて、入力文を符号化し、大域的な視点から意味表現を構築する。 最後に,DGA(Dynamic Gaussian Attention)を開発し,重要な部分と対応するローカルコンテキストを詳細な視点から動的に捉える。
  論文  参考訳（メタデータ） (2021-06-09T08:43:04Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Text Classification based on Multi-granularity Attention Hybrid Neural Network [4.718408602093766]
  マルチグラニュラリティアテンションに基づくハイブリッドニューラルネットワーク(MahNN)という,新しい階層型マルチグラニュラリティアテンション機構に基づくハイブリッドアーキテクチャを提案する。 注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。
  論文  参考訳（メタデータ） (2020-08-12T13:02:48Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。