論文の概要: ZEN 2.0: Continue Training and Adaption for N-gram Enhanced Text Encoders

• arxiv url: http://arxiv.org/abs/2105.01279v1
• Date: Tue, 4 May 2021 04:08:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 13:07:17.538908
• Title: ZEN 2.0: Continue Training and Adaption for N-gram Enhanced Text Encoders
• Title（参考訳）: zen 2.0: n-gram拡張テキストエンコーダのトレーニングと適応
• Authors: Yan Song, Tong Zhang, Yonggang Wang, Kai-Fu Lee
• Abstract要約: 大量のデータと高度なトレーニング技術を備えたnグラムエンコーダの事前トレーニングを提案します。 言語やドメインにまたがるNLPタスクの長いリストから、最新のパフォーマンスが観察されます。
• 参考スコア（独自算出の注目度）: 32.53471313532653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained text encoders have drawn sustaining attention in natural language processing (NLP) and shown their capability in obtaining promising results in different tasks. Recent studies illustrated that external self-supervised signals (or knowledge extracted by unsupervised learning, such as n-grams) are beneficial to provide useful semantic evidence for understanding languages such as Chinese, so as to improve the performance on various downstream tasks accordingly. To further enhance the encoders, in this paper, we propose to pre-train n-gram-enhanced encoders with a large volume of data and advanced techniques for training. Moreover, we try to extend the encoder to different languages as well as different domains, where it is confirmed that the same architecture is applicable to these varying circumstances and new state-of-the-art performance is observed from a long list of NLP tasks across languages and domains.
• Abstract（参考訳）: 事前学習されたテキストエンコーダは自然言語処理(nlp)に引き続き注目され、異なるタスクで有望な結果を得る能力を示している。 近年の研究では、外部の自己教師的信号(あるいはn-gramのような教師なし学習によって抽出された知識)が、中国語などの言語を理解する上で有用な意味的証拠を提供することで、様々な下流タスクの性能を向上させることが示されている。 本稿では, エンコーダをさらに強化するため, 大量のデータと高度な訓練技術を備えたn-gramエンコーダの事前訓練を提案する。 さらに、異なる言語と異なるドメインにエンコーダを拡張し、同じアーキテクチャがこれらの様々な状況に適用可能であることを確認し、言語やドメインにまたがるNLPタスクの長いリストから新しい最先端のパフォーマンスを観察する。

関連論文リスト

• TG-LLaVA: Text Guided LLaVA via Learnable Latent Embeddings [61.9257731511557]
  視覚言語モデル(VLM)を最適化するためのテキストガイド付きLLaVA(TG-LLaVA)を提案する。 学習可能な潜伏埋め込みをブリッジとして使用し、テキスト命令を分析し、視覚エンコーダに解析結果をガイダンスとして付加する。 テキストのガイダンスによって、視覚エンコーダは、人間が質問を考えるとき、画像の最も関連性の高い部分に集中する方法と同様に、テキスト関連の特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-09-15T00:38:34Z)
• Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features [18.76505158652759]
  複数の言語間の意味的特徴と言語的特徴を利用して多言語翻訳を強化することを提案する。 エンコーダ側では,意味的特徴と言語的特徴を両立させることにより,エンコーダ表現を整合させる非係合学習タスクを導入する。 デコーダ側では、言語エンコーダを利用して低レベル言語機能を統合し、ターゲット言語生成を支援する。
  論文  参考訳（メタデータ） (2024-08-02T17:10:12Z)
• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation [20.125265661134964]
  手話認識と翻訳は、まず認識モジュールを使用して手話ビデオからグルースを生成する。 本研究では,手話翻訳のためのタスク認識型命令ネットワークTIN-SLTを提案する。
  論文  参考訳（メタデータ） (2022-04-12T17:09:44Z)
• Linguistic Knowledge in Data Augmentation for Natural Language Processing: An Example on Chinese Question Matching [0.0]
  2つのDAプログラムは5つの簡単なテキスト編集操作によって拡張テキストを生成する。 1つはn-gram言語モデルで拡張され、余分な言語知識と融合する。 強化された訓練セットの両タイプで訓練されたモデルは、関連する未拡張セットで直接訓練されたモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-29T17:07:49Z)
• Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation [127.54315184545796]
  音声翻訳(ST)は、ソース言語の音声からターゲット言語のテキストへの変換を学習することを目的としている。 単語埋め込みを中間語として活用することでマルチタスクSTモデルを改善することを提案する。
  論文  参考訳（メタデータ） (2020-05-21T14:22:35Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。