論文の概要: Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting

• arxiv url: http://arxiv.org/abs/2109.08597v1
• Date: Fri, 17 Sep 2021 15:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-20 14:50:40.361790
• Title: Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting
• Title（参考訳）: 低リソース環境下でのジョブ表現抽出と分類のためのブースティングトランス
• Authors: Lukas Lange and Heike Adel and Jannik Str\"otgen
• Abstract要約: 本稿では,スペイン語テキストにおけるジョブ表現の抽出と分類に取り組むためのアプローチを提案する。 言語の専門家でもドメインの専門家でもないので、多言語XLM-Rトランスモデルを実験する。 XLM-Rモデルと比較して,これらの手法を最大5.3F1点まで改善した。
• 参考スコア（独自算出の注目度）: 12.489741131691737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore possible improvements of transformer models in a low-resource setting. In particular, we present our approaches to tackle the first two of three subtasks of the MEDDOPROF competition, i.e., the extraction and classification of job expressions in Spanish clinical texts. As neither language nor domain experts, we experiment with the multilingual XLM-R transformer model and tackle these low-resource information extraction tasks as sequence-labeling problems. We explore domain- and language-adaptive pretraining, transfer learning and strategic datasplits to boost the transformer model. Our results show strong improvements using these methods by up to 5.3 F1 points compared to a fine-tuned XLM-R model. Our best models achieve 83.2 and 79.3 F1 for the first two tasks, respectively.
• Abstract（参考訳）: 本稿では,低リソース環境下での変圧器モデルの改善の可能性を検討する。 特に,MEDDOPROFコンペティションにおける3つのサブタスクのうち,最初の2つ,すなわちスペイン語臨床テキストにおけるジョブ表現の抽出と分類に取り組むためのアプローチを提案する。 言語もドメインの専門家も、多言語xlm-rトランスフォーマーモデルを実験し、これらの低リソース情報抽出タスクをシーケンスラベル問題として扱う。 トランスフォーマーモデルを強化するために、ドメインおよび言語適応型事前学習、転送学習、戦略的データスプリットについて検討する。 XLM-Rモデルと比較して,これらの手法を最大5.3F1点まで改善した。 我々の最良のモデルは、それぞれ最初の2つのタスクに対して83.2と79.3のF1を達成する。

関連論文リスト

• Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
  トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。 これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。 我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
  論文  参考訳（メタデータ） (2023-12-28T11:39:08Z)
• Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph [0.0]
  本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。 学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。 i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T10:35:18Z)
• Adapting Sentence Transformers for the Aviation Domain [0.8437187555622164]
  本稿では,航空分野における文変換器の適応手法を提案する。 本手法は,事前学習と微調整を併用した2段階のプロセスである。 本研究は,航空などの専門産業における高品質なNLPソリューション開発におけるドメイン固有適応の重要性を強調した。
  論文  参考訳（メタデータ） (2023-05-16T15:53:24Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Exploring the State-of-the-Art Language Modeling Methods and Data Augmentation Techniques for Multilingual Clause-Level Morphology [3.8498574327875947]
  共有タスクの3つの部分 – 反射,再帰,分析 – について検討する。 データ拡張と組み合わせたトランスフォーマーモデルと、モルフォロジー解析のための最先端の言語モデリング技術を利用する2つのアプローチを主に検討する。 提案手法は,3つのタスクのそれぞれにおいて第1位となり,mT5ベースラインよりも89%,リフレクション80%,分析12%に優れていた。
  論文  参考訳（メタデータ） (2022-11-03T11:53:39Z)
• Leveraging Pre-trained Models for Failure Analysis Triplets Generation [0.0]
  我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。 生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-31T17:21:15Z)
• Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection [99.59693674455582]
  本稿では,文書内および文書間における段落レベルの意味論を取り入れた3つの新しい文レベルトランスフォーマー事前学習目標を提案する。 3つのパブリックなAS2データセットと1つの産業用AS2データセットに関する実験は、ベースラインモデルよりも事前訓練されたトランスフォーマーの実証的な優位性を実証している。
  論文  参考訳（メタデータ） (2022-05-20T22:39:00Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Rethinking Document-level Neural Machine Translation [73.42052953710605]
  現在のモデルでは、ドキュメントレベルの翻訳に十分な能力がありますか? 適切なトレーニング技術を持つオリジナルのトランスフォーマーは,2000語の長さであっても,文書翻訳の強力な結果が得られることを観察する。
  論文  参考訳（メタデータ） (2020-10-18T11:18:29Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。