論文の概要: Dynamic Adaptive Attention and Supervised Contrastive Learning: A Novel Hybrid Framework for Text Sentiment Classification
- arxiv url: http://arxiv.org/abs/2604.10459v1
- Date: Sun, 12 Apr 2026 04:55:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.029645
- Title: Dynamic Adaptive Attention and Supervised Contrastive Learning: A Novel Hybrid Framework for Text Sentiment Classification
- Title(参考訳): 動的適応注意と教師付きコントラスト学習:テキスト知覚分類のための新しいハイブリッドフレームワーク
- Authors: Qingyang Li,
- Abstract要約: 本稿では,動的適応型マルチヘッドアテンションと教師付きコントラスト学習をシームレスに統合するハイブリッドフレームワークをBERTベースのTransformer Encoderに提案する。
IMDBデータセットの実験では、提案されたモデルの競争性能は94.67%で、強いベースラインを1.5-2.5ポイント上回っている。
- 参考スコア(独自算出の注目度): 6.958199264310534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The exponential growth of user-generated movie reviews on digital platforms has made accurate text sentiment classification a cornerstone task in natural language processing. Traditional models, including standard BERT and recurrent architectures, frequently struggle to capture long-distance semantic dependencies and resolve ambiguous emotional expressions in lengthy review texts. This paper proposes a novel hybrid framework that seamlessly integrates dynamic adaptive multi-head attention with supervised contrastive learning into a BERT-based Transformer encoder. The dynamic adaptive attention module employs a global context pooling vector to dynamically regulate the contribution of each attention head, thereby focusing on critical sentiment-bearing tokens while suppressing noise. Simultaneously, the supervised contrastive learning branch enforces tighter intra-class compactness and larger inter-class separation in the embedding space. Extensive experiments on the IMDB dataset demonstrate that the proposed model achieves competitive performance with an accuracy of 94.67\%, outperforming strong baselines by 1.5--2.5 percentage points. The framework is lightweight, efficient, and readily extensible to other text classification tasks.
- Abstract(参考訳): デジタルプラットフォーム上でのユーザ生成映画レビューの指数関数的増加により、テキストの感情分類が自然言語処理の基盤となっている。
標準的なBERTやリカレントアーキテクチャを含む伝統的なモデルは、長距離のセマンティック依存関係をキャプチャし、長いレビューテキストで曖昧な感情表現を解決するのにしばしば苦労する。
本稿では,動的適応型マルチヘッドアテンションと教師付きコントラスト学習をシームレスに統合するハイブリッドフレームワークをBERTベースのTransformer Encoderに提案する。
動的適応アダプティブアテンションモジュールは、グローバルコンテキストプーリングベクターを用いて、各アテンションヘッドのコントリビューションを動的に制御し、ノイズを抑えながら臨界感傷トークンに焦点を当てる。
同時に、教師付きコントラスト学習部は、埋め込み空間において、より厳密なクラス内コンパクト性とより大きなクラス間分離を強制する。
IMDBデータセットの大規模な実験により、提案モデルが94.67\%の精度で競争性能を達成し、強いベースラインを1.5-2.5ポイント上回る結果となった。
このフレームワークは軽量で効率的で、他のテキスト分類タスクにも容易に拡張可能である。
関連論文リスト
- Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。
CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
論文 参考訳(メタデータ) (2026-03-26T02:13:03Z) - OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。
このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。
我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-11T09:41:36Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2025-12-12T10:39:10Z) - DART: Dual Adaptive Refinement Transfer for Open-Vocabulary Multi-Label Recognition [59.203152078315235]
Open-Vocabulary Multi-Label Recognition (OV-MLR)は、画像内の複数の見えないオブジェクトカテゴリを識別することを目的としている。
ビジョンランゲージ事前学習モデルは強力なオープン語彙基盤を提供するが、弱い監督下では微粒な局所化に苦慮する。
本稿では,これらの制約を克服するためのDART(Dual Adaptive Refinement Transfer)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-07T17:22:33Z) - A Dual-Directional Context-Aware Test-Time Learning for Text Classification [17.38491257321053]
動的双方向エルマン注意ネットワーク(DBEAN)を提案する。
DBEANは双方向の時間的モデリングと自己注意を組み合わせる。
クリティカルな入力セグメントを動的に重み付けし、計算効率を維持する。
論文 参考訳(メタデータ) (2025-03-19T17:45:13Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳(メタデータ) (2023-05-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。