論文の概要: Adapting Sentence Transformers for the Aviation Domain

• arxiv url: http://arxiv.org/abs/2305.09556v2
• Date: Wed, 29 Nov 2023 14:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 03:46:49.336212
• Title: Adapting Sentence Transformers for the Aviation Domain
• Title（参考訳）: 航空領域における文変換器の適応
• Authors: Liya Wang, Jason Chou, Dave Rouck, Alex Tien, Diane M Baumgartner
• Abstract要約: 本稿では,航空分野における文変換器の適応手法を提案する。 本手法は,事前学習と微調整を併用した2段階のプロセスである。 本研究は,航空などの専門産業における高品質なNLPソリューション開発におけるドメイン固有適応の重要性を強調した。
• 参考スコア（独自算出の注目度）: 0.8437187555622164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning effective sentence representations is crucial for many Natural Language Processing (NLP) tasks, including semantic search, semantic textual similarity (STS), and clustering. While multiple transformer models have been developed for sentence embedding learning, these models may not perform optimally when dealing with specialized domains like aviation, which has unique characteristics such as technical jargon, abbreviations, and unconventional grammar. Furthermore, the absence of labeled datasets makes it difficult to train models specifically for the aviation domain. To address these challenges, we propose a novel approach for adapting sentence transformers for the aviation domain. Our method is a two-stage process consisting of pre-training followed by fine-tuning. During pre-training, we use Transformers and Sequential Denoising AutoEncoder (TSDAE) with aviation text data as input to improve the initial model performance. Subsequently, we fine-tune our models using a Natural Language Inference (NLI) dataset in the Sentence Bidirectional Encoder Representations from Transformers (SBERT) architecture to mitigate overfitting issues. Experimental results on several downstream tasks show that our adapted sentence transformers significantly outperform general-purpose transformers, demonstrating the effectiveness of our approach in capturing the nuances of the aviation domain. Overall, our work highlights the importance of domain-specific adaptation in developing high-quality NLP solutions for specialized industries like aviation.
• Abstract（参考訳）: 効果的な文表現の学習は多くの自然言語処理(NLP)タスクにおいて重要であり、セマンティック検索、セマンティックテキスト類似性(STS)、クラスタリングなどがある。 文埋め込み学習のために複数のトランスフォーマーモデルが開発されているが、これらのモデルは、技術用語、略語、非慣習文法のようなユニークな特徴を持つ航空のような専門領域を扱う場合に最適に機能しない。 さらにラベル付きデータセットがないため、航空分野に特化したモデルをトレーニングすることは困難である。 これらの課題に対処するため,航空分野における文変換器の適応手法を提案する。 本手法は,事前学習と微調整からなる2段階プロセスである。 事前学習中、航空用テキストデータを入力としてトランスフォーマとシーケンシャルデノージングオートエンコーダ(tsdae)を使用して初期モデルの性能を向上させる。 その後、SBERTアーキテクチャによるSentence Bidirectional Encoder Representationsの自然言語推論(NLI)データセットを用いて、モデルの微調整を行い、オーバーフィッティング問題を緩和する。 いくつかの下流課題における実験結果から, 適応文変換器は汎用トランスを著しく上回り, 航空領域のニュアンスを捕捉する手法の有効性を実証した。 本研究は,航空などの専門産業を対象とした高品質なNLPソリューション開発において,ドメイン固有適応の重要性を強調した。

関連論文リスト

• Nonparametric Variational Regularisation of Pretrained Transformers [15.313475675235843]
  トランスフォーマーにおけるクロスアテンションをトレーニングするためのレギュラーとして,Non Variational Information Bottleneck (NVIB)を提案する。 初期化の変更は、注意機構における新しい、情報理論的なポストトレーニング正則化をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-01T15:40:30Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
  本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。 TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。 メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
  論文  参考訳（メタデータ） (2023-05-22T04:53:59Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• QuadFormer: Quadruple Transformer for Unsupervised Domain Adaptation in Power Line Segmentation of Aerial Images [12.840195641761323]
  ドメイン適応型セマンティックセグメンテーションのための新しいフレームワークを提案する。 階層的な四重変圧器は、伝達可能なコンテキストに適応するために、クロスアテンションと自己アテンションのメカニズムを組み合わせる。 ARPLSynとARPLRealの2つのデータセットを提示し、教師なし領域適応電力線分割の研究をさらに進める。
  論文  参考訳（メタデータ） (2022-11-29T03:15:27Z)
• Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting [12.489741131691737]
  本稿では,スペイン語テキストにおけるジョブ表現の抽出と分類に取り組むためのアプローチを提案する。 言語の専門家でもドメインの専門家でもないので、多言語XLM-Rトランスモデルを実験する。 XLM-Rモデルと比較して,これらの手法を最大5.3F1点まで改善した。
  論文  参考訳（メタデータ） (2021-09-17T15:21:02Z)
• On the validity of pre-trained transformers for natural language processing in the software engineering domain [78.32146765053318]
  ソフトウェア工学データを用いて訓練されたBERT変換器モデルと一般領域データに基づく変換器との比較を行った。 ソフトウェアエンジニアリングのコンテキストを理解するために必要なタスクに対しては,ソフトウェアエンジニアリングデータの事前学習が重要であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T08:46:31Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)
• Hierarchical Transformer Network for Utterance-level Emotion Recognition [0.0]
  発話レベルの感情認識(ULER)における課題に対処する。 従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされている。 我々は、低レベルトランスとして、変換器(BERT)からの双方向エンコーダ表現を事前訓練した言語モデルを用いる。 さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。
  論文  参考訳（メタデータ） (2020-02-18T13:44:49Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。