論文の概要: Scaling Native Language Identification with Transformer Adapters

• arxiv url: http://arxiv.org/abs/2211.10117v1
• Date: Fri, 18 Nov 2022 09:40:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:53:31.461407
• Title: Scaling Native Language Identification with Transformer Adapters
• Title（参考訳）: Transformer Adapterによるネイティブ言語識別のスケールアップ
• Authors: Ahmet Yavuz Uluslu and Gerold Schneider
• Abstract要約: ネイティブ言語識別(NLI)は、個人のネイティブ言語(L1)を自動的に識別するタスクである。 トランスフォーマーデコーダ(GPT-2)に基づく最近のディープジェネレーションアプローチは、それよりも優れていた。 メモリ制限に対処するトランスフォーマーアダプタを導入し,NLIアプリケーションを実運用環境に拡張するためのトレーニング/推論速度を改善した。
• 参考スコア（独自算出の注目度）: 0.5330240017302619
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Native language identification (NLI) is the task of automatically identifying the native language (L1) of an individual based on their language production in a learned language. It is useful for a variety of purposes including marketing, security and educational applications. NLI is usually framed as a multi-label classification task, where numerous designed features are combined to achieve state-of-the-art results. Recently deep generative approach based on transformer decoders (GPT-2) outperformed its counterparts and achieved the best results on the NLI benchmark datasets. We investigate this approach to determine the practical implications compared to traditional state-of-the-art NLI systems. We introduce transformer adapters to address memory limitations and improve training/inference speed to scale NLI applications for production.
• Abstract（参考訳）: ネイティブ言語識別(NLI)は、学習言語における言語生成に基づいて、個人のネイティブ言語(L1)を自動的に識別するタスクである。 マーケティング、セキュリティ、教育アプリケーションなど、さまざまな用途に有用である。 NLIは通常、多ラベル分類タスクとしてフレーム化され、多くの設計された特徴が組み合わされ、最先端の結果が得られる。 近年, トランスフォーマーデコーダ(GPT-2)に基づく深層生成手法は, NLIベンチマークデータセットよりも優れ, 最高の結果を得た。 本研究では,従来のNLIシステムと比較し,本手法の有効性を検討する。 メモリ制限に対処するトランスフォーマーアダプタを導入し,NLIアプリケーションを実運用環境に拡張するためのトレーニング/推論速度を改善した。

関連論文リスト

• Native Language Identification with Big Bird Embeddings [0.3069335774032178]
  ネイティブ言語識別(NLI)は、著者の母国語を他の言語での表記に基づいて分類することを目的としている。 現在の研究は、入力サイズが制限要因であるかどうかを調べ、Big Birdの埋め込みを使って訓練された分類器が、Reddit-L2データセットで大きなマージンで言語機能エンジニアリングモデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2023-09-13T12:47:40Z)
• Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
  本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。 コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。 この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-06T12:40:58Z)
• Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
  我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。 我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
  論文  参考訳（メタデータ） (2023-06-02T23:04:19Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer [43.92142759245696]
  オーソラアダプタは、事前訓練されたトランスフォーマーのパラメータに格納されている知識を補完する言語やタスク固有の情報をエンコードするように訓練される。 本研究では,3つのタスク(POSタグ,NER,NLI)と10の多言語からなるゼロショット言語間移動実験を行い,特に最も複雑なNLIタスクにおいて,オーソラアダプタの有用性を示すとともに,最適アダプタ構成がタスクとターゲット言語に大きく依存していることを示した。
  論文  参考訳（メタデータ） (2020-12-11T16:32:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary [9.347252855045125]
  我々は,事前学習した埋め込みの選択と,グラフベースの依存性スキームでLSTM層を使用するかどうかについて検討する。 我々は,12言語中10言語に対して,新しい最先端の成果(LAS)を実現するため,シンプルだが広く適用可能なアーキテクチャと構成を提案する。
  論文  参考訳（メタデータ） (2020-10-23T22:58:26Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。