論文の概要: Sequential Attention Module for Natural Language Processing
- arxiv url: http://arxiv.org/abs/2109.03009v1
- Date: Tue, 7 Sep 2021 11:48:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 14:52:04.184693
- Title: Sequential Attention Module for Natural Language Processing
- Title（参考訳）: 自然言語処理のための逐次注意モジュール
- Authors: Mengyuan Zhou, Jian Ma, Haiqin Yang, Lianxin Jiang, Yang Mo
- Abstract要約: 本稿では,事前学習した言語モデルから学習したトークン埋め込みに基づいて,SAM(Sequential Attention Module)というプラグイン・アンド・プレイモジュールを提案する。
提案するSAMは,FAM(Feature-wise Attention Module)とTAM(Token-wise Attention Module)の2つの主要な注意モジュールで構成されている。
- 参考スコア（独自算出の注目度）: 5.3332456820449465
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, large pre-trained neural language models have attained remarkable
performance on many downstream natural language processing (NLP) applications
via fine-tuning. In this paper, we target at how to further improve the token
representations on the language models. We, therefore, propose a simple yet
effective plug-and-play module, Sequential Attention Module (SAM), on the token
embeddings learned from a pre-trained language model. Our proposed SAM consists
of two main attention modules deployed sequentially: Feature-wise Attention
Module (FAM) and Token-wise Attention Module (TAM). More specifically, FAM can
effectively identify the importance of features at each dimension and promote
the effect via dot-product on the original token embeddings for downstream NLP
applications. Meanwhile, TAM can further re-weight the features at the
token-wise level. Moreover, we propose an adaptive filter on FAM to prevent
noise impact and increase information absorption. Finally, we conduct extensive
experiments to demonstrate the advantages and properties of our proposed SAM.
We first show how SAM plays a primary role in the champion solution of two
subtasks of SemEval'21 Task 7. After that, we apply SAM on sentiment analysis
and three popular NLP tasks and demonstrate that SAM consistently outperforms
the state-of-the-art baselines.
- Abstract（参考訳）: 近年,多くの下流自然言語処理(nlp)アプリケーションにおいて,事前学習された大規模ニューラルネットワークモデルが,微調整によって著しく性能向上している。
本稿では,言語モデルにおけるトークン表現をさらに改善する方法について検討する。
そこで我々は,事前学習した言語モデルから学習したトークンの埋め込みに基づいて,シンプルな,効果的なプラグアンドプレイモジュール Sequential Attention Module (SAM) を提案する。
提案するSAMは,FAM(Feature-wise Attention Module)とTAM(Token-wise Attention Module)の2つの主要な注意モジュールから構成される。
より具体的には、FAMは各次元における特徴の重要性を効果的に識別し、下流のNLPアプリケーションに対するオリジナルのトークン埋め込みに対するドット積による効果を促進することができる。
一方、TAMはトークンレベルで機能を再重み付けすることができる。
さらに,FAMの適応フィルタを提案し,騒音の影響を防止し,情報吸収を増加させる。
最後に,提案するSAMの利点と特性を実証するための広範な実験を行った。
まず,SemEval'21タスク7の2つのサブタスクのチャンピオンソリューションにおいてSAMが果たす役割について述べる。
その後、感情分析と3つのNLPタスクにSAMを適用し、SAMが最先端のベースラインを一貫して上回ることを示す。
関連論文リスト
- Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。
SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。
本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T08:33:25Z) - SAM-SP: Self-Prompting Makes SAM Great Again [11.109389094334894]
Segment Anything Model (SAM)は、ゼロショットセグメンテーションタスクにおいて印象的な機能を示した。
SAMは、医療画像などの特定の領域に適用した場合、顕著な劣化性能に遭遇する。
本稿では,バニラSAMモデルの拡張に適したSAM-SPという,自己プロンプトに基づくファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2024-08-22T13:03:05Z) - EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model [41.29719405544942]
初期ビジョン言語Fusion-based SAM (EVF-SAM) について紹介する。
EVF-SAMは、マルチモーダルプロンプト(画像とテキスト)を利用する、シンプルだが効果的な参照セグメンテーション手法である
BEIT-3をベースとしたEVF-SAMにより,RefCOCO/+/gにおける表現セグメンテーションの最先端性能が得られた。
論文 参考訳（メタデータ） (2024-06-28T17:38:18Z) - AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳（メタデータ） (2024-06-01T16:21:39Z) - ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
論文 参考訳（メタデータ） (2024-05-01T00:13:05Z) - GoodSAM: Bridging Domain and Capacity Gaps via Segment Anything Model for Distortion-aware Panoramic Semantic Segmentation [22.344399402787644]
本稿では,新しい課題に取り組み,新たなセグメンテーションモデル(SAM)から知識を伝達する方法について述べる。
そこで我々は,サンブルロジットを生成するためにSAMと統合された意味情報を提供する教師アシスタント(TA)を導入したGoodSAMというフレームワークを提案する。
2つのベンチマーク実験により、我々のGoodSAMは最先端(SOTA)ドメイン適応法よりも3.75%のmIoU改善を実現していることが示された。
論文 参考訳（メタデータ） (2024-03-25T02:30:32Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-14T17:55:03Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳（メタデータ） (2023-12-06T17:19:00Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳（メタデータ） (2023-11-27T12:51:42Z) - RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。
提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。
我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文 参考訳（メタデータ） (2023-07-03T13:21:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。