論文の概要: Transformer-F: A Transformer network with effective methods for learning universal sentence representation

• arxiv url: http://arxiv.org/abs/2107.00653v1
• Date: Fri, 2 Jul 2021 03:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:04:32.368313
• Title: Transformer-F: A Transformer network with effective methods for learning universal sentence representation
• Title（参考訳）: Transformer-F: 普遍的な文表現の学習に有効なトランスフォーマーネットワーク
• Authors: Yu Shi
• Abstract要約: Transformerモデルは、自然言語処理で文表現に広く使われている。 本稿では,トランスフォーマーの性能向上のための2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 8.225067988604351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer model is widely used in natural language processing for sentence representation. However, the previous Transformer-based models focus on function words that have limited meaning in most cases and could merely extract high-level semantic abstraction features. In this paper, two approaches are introduced to improve the performance of Transformers. We calculated the attention score by multiplying the part-of-speech weight vector with the correlation coefficient, which helps extract the words with more practical meaning. The weight vector is obtained by the input text sequence based on the importance of the part-of-speech. Furthermore, we fuse the features of each layer to make the sentence representation results more comprehensive and accurate. In experiments, we demonstrate the effectiveness of our model Transformer-F on three standard text classification datasets. Experimental results show that our proposed model significantly boosts the performance of text classification as compared to the baseline model. Specifically, we obtain a 5.28% relative improvement over the vanilla Transformer on the simple tasks.
• Abstract（参考訳）: Transformerモデルは、自然言語処理で文表現に広く使われている。 しかし、以前のトランスフォーマーベースのモデルは、たいていの場合、限定的な意味を持ち、単に高レベルな意味抽象機能を抽出できる関数ワードに焦点を当てていた。 本稿では,トランスフォーマーの性能向上のための2つの手法を提案する。 注意度を相関係数と重みベクトルを乗じることで算出し,より実用的な意味を持つ単語の抽出に寄与した。 重みベクトルは、音声部分の重要性に基づいて入力テキストシーケンスによって得られる。 さらに,各層の特徴を融合させて文表現結果をより包括的かつ正確にする。 実験では、3つの標準テキスト分類データセットに対するモデルtransformer-fの有効性を示す。 実験の結果,提案モデルがベースラインモデルと比較してテキスト分類の性能を著しく向上させることがわかった。 具体的には,簡単な作業でバニラ変圧器を5.28%向上させた。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Enhanced Transformer Architecture for Natural Language Processing [2.6071653283020915]
  Transformerは自然言語処理(NLP)分野における最先端モデルである 本稿では,トランスフォーマーの新たな構造を提案し,全層正規化,重み付け残差接続,強化学習を利用した位置符号化,マスク付き自己注意が特徴である。 The proposed Transformer model, called Enhanced Transformer, is confirmeded by the bilingual evaluation understudy (BLEU) score obtained with the Multi30k translation dataset。
  論文  参考訳（メタデータ） (2023-10-17T01:59:07Z)
• When to Use Efficient Self Attention? Profiling Text, Speech and Image Transformer Variants [39.00433193973159]
  本研究は,テキスト,音声,視覚にまたがる自己注意型トランスフォーマーの効率性に関する,最初の統一的研究である。 効率の良いトランスフォーマー変種がバニラモデルよりも効率的になる入力長閾値(タイピング点)を同定する。 そこで本研究では,L-HuBERTを導入した。L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L -HuBERT,L-H
  論文  参考訳（メタデータ） (2023-06-14T17:59:02Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence [6.73258176462356]
  それは、事前訓練されたトランスフォーマーを用いたボトムレベル文エンコーダと、文埋め込みに基づく上位レベルのトランスフォーマーベースのセグメンテーションモデルである。 実験の結果、Transformer$2$は、一般的に使われているセマンティックコヒーレンス尺度によって、最先端のテキストセグメンテーションモデルを超えていることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T05:26:39Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Fastformer: Additive Attention Can Be All You Need [51.79399904527525]
  本稿では,加法的注意に基づく効率的なトランスフォーマーモデルであるFastformerを提案する。 Fastformerでは、トークン間のペアワイズインタラクションをモデル化する代わりに、まずグローバルコンテキストをモデル化するために追加アテンションメカニズムを使用します。 このように、Fastformerは線形複雑性を伴う効果的なコンテキストモデリングを実現することができる。
  論文  参考訳（メタデータ） (2021-08-20T09:44:44Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。