Fugu-MT 論文翻訳(概要): Multilingual Normalization of Temporal Expressions with Masked Language Models

論文の概要: Multilingual Normalization of Temporal Expressions with Masked Language Models

arxiv url: http://arxiv.org/abs/2205.10399v1
Date: Fri, 20 May 2022 18:34:23 GMT
ステータス: 処理完了
システム内更新日: 2022-05-24 15:10:46.089649
Title: Multilingual Normalization of Temporal Expressions with Masked Language Models
Title（参考訳）: マスキング言語モデルを用いた時間表現の多言語正規化
Authors: Lukas Lange, Jannik Str\"otgen, Heike Adel, Dietrich Klakow
Abstract要約: マスク付き言語モデルに基づく時間表現の正規化のための新しいニューラル手法を提案する。提案手法は,多くの言語,特に性能が35 F1まで向上した低リソース言語において,従来のルールベースシステムよりも優れている。
参考スコア（独自算出の注目度）: 26.473014733177475
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The detection and normalization of temporal expressions is an important task and a preprocessing step for many applications. However, prior work on normalization is rule-based, which severely limits the applicability in real-world multilingual settings, due to the costly creation of new rules. We propose a novel neural method for normalizing temporal expressions based on masked language modeling. Our multilingual method outperforms prior rule-based systems in many languages, and in particular, for low-resource languages with performance improvements of up to 35 F1 on average compared to the state of the art.
Abstract（参考訳）: 時間表現の検出と正規化は多くのアプリケーションにとって重要なタスクであり、前処理のステップである。しかし、正規化に関する先行研究はルールベースであり、新しいルールのコストがかかるため、現実の多言語設定の適用性が著しく制限される。マスキング言語モデルに基づく時間表現の正規化のための新しいニューラル手法を提案する。本手法は,多くの言語,特に低リソース言語において従来のルールベースシステムよりも優れており,その性能は平均して35 f1まで向上している。

関連論文リスト

Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
論文参考訳（メタデータ） (2024-08-26T16:29:13Z)
No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
本稿では,学習不要な後処理が可能な言語演算法を提案する。提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
論文参考訳（メタデータ） (2024-04-24T08:52:40Z)
Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics [4.9639158834745745]
本稿では、ジャンルや話題情報を活用した革新的なマスキング手法を導入し、言語モデルを専門ドメインにカスタマイズする。本手法では,その重要度に基づいて単語を優先順位付けし,マスキング手順を導出するランキング処理を取り入れた。法域内での継続事前学習を用いて行った実験は、英語のLegalGLUEベンチマークにおいて、我々のアプローチの有効性を裏付けている。
論文参考訳（メタデータ） (2024-02-19T10:43:27Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
A Modular Approach for Multilingual Timex Detection and Normalization using Deep Learning and Grammar-based methods [10.871587311621974]
本稿では,細調整されたマスケッド言語モデルと文法ベース正規化器を組み合わせたモジュール型多言語時間処理システムを提案する。金の時空正規化, 時間差検出, 型認識, およびTempEval-3緩和値測定器の競合性能を比較検討した。
論文参考訳（メタデータ） (2023-04-27T14:32:23Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文参考訳（メタデータ） (2021-06-16T18:13:55Z)
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。これまでの研究では、これは表現が十分に整合していないためです。本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文参考訳（メタデータ） (2021-03-18T21:17:58Z)
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文参考訳（メタデータ） (2020-11-23T16:00:42Z)
Adversarial Alignment of Multilingual Models for Extracting Temporal Expressions from Text [10.666619768801302]
本稿では,テキストから時間表現を抽出する手法について検討し,埋め込み空間を1つの共通空間に整列させるための対角訓練について検討する。単一の多言語モデルを作成し、未知の言語に変換し、これらの言語間移動実験において、新しい技術状態を設定する。
論文参考訳（メタデータ） (2020-05-19T12:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。