論文の概要: Verb Knowledge Injection for Multilingual Event Processing

• arxiv url: http://arxiv.org/abs/2012.15421v1
• Date: Thu, 31 Dec 2020 03:24:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:17:35.719980
• Title: Verb Knowledge Injection for Multilingual Event Processing
• Title（参考訳）: 多言語イベント処理のための動詞知識注入
• Authors: Olga Majewska, Ivan Vuli\'c, Goran Glava\v{s}, Edoardo M. Ponti, Anna Korhonen
• Abstract要約: 動詞のセマンティック・シンタクティックな振る舞いに関する明示的な情報を注入することでLMプリトレーニングトランスフォーマーの性能が向上するかどうかを検討する。 まず,動詞知識の注入が英語イベント抽出のパフォーマンス向上につながることを示す。 次に、他の言語でのイベント抽出のための動詞アダプタの有用性を探ります。
• 参考スコア（独自算出の注目度）: 50.27826310460763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In parallel to their overwhelming success across NLP tasks, language ability of deep Transformer networks, pretrained via language modeling (LM) objectives has undergone extensive scrutiny. While probing revealed that these models encode a range of syntactic and semantic properties of a language, they are still prone to fall back on superficial cues and simple heuristics to solve downstream tasks, rather than leverage deeper linguistic knowledge. In this paper, we target one such area of their deficiency, verbal reasoning. We investigate whether injecting explicit information on verbs' semantic-syntactic behaviour improves the performance of LM-pretrained Transformers in event extraction tasks -- downstream tasks for which accurate verb processing is paramount. Concretely, we impart the verb knowledge from curated lexical resources into dedicated adapter modules (dubbed verb adapters), allowing it to complement, in downstream tasks, the language knowledge obtained during LM-pretraining. We first demonstrate that injecting verb knowledge leads to performance gains in English event extraction. We then explore the utility of verb adapters for event extraction in other languages: we investigate (1) zero-shot language transfer with multilingual Transformers as well as (2) transfer via (noisy automatic) translation of English verb-based lexical constraints. Our results show that the benefits of verb knowledge injection indeed extend to other languages, even when verb adapters are trained on noisily translated constraints.
• Abstract（参考訳）: NLPタスク全体での圧倒的な成功と並行して、言語モデリング(LM)の目的によって事前訓練されたディープトランスフォーマーネットワークの言語能力は、広範な精査を受けている。 これらのモデルが言語の様々な構文的・意味的特性を符号化していることが明らかになっているが、より深い言語知識を活用するよりも、下流の課題を解決するための表面的な手がかりや単純なヒューリスティックに逆らう傾向にある。 本稿では,その欠如,言論的推論の1つの領域を対象とする。 動詞の意味合成動作に関する明示的な情報を注入することで、イベント抽出タスクにおけるlmプリトレーニングされたトランスフォーマーのパフォーマンスが向上するかどうかについて検討する。 具体的には,修了した語彙資源からの動詞知識を専用アダプタモジュール(dubbed verb adapters)に付与することにより,lmプリトレーニング中に得られた言語知識を,下流タスクで補うことができる。 まず,動詞知識の注入が英語イベント抽出のパフォーマンス向上につながることを示す。 そこで我々は,(1)多言語変換器を用いたゼロショット言語変換,(2)英語の動詞に基づく語彙制約の(ノイズの多い自動翻訳による)翻訳など,他の言語でのイベント抽出における動詞アダプタの有用性について検討する。 この結果から,動詞の適応者が雑音に翻訳された制約に基づいて訓練された場合でも,動詞の知識注入の利点は他の言語にも拡張できることが示唆された。

関連論文リスト

• Adapters for Altering LLM Vocabularies: What Languages Benefit the Most? [23.83290627671739]
  本稿では,既存の埋め込みの最適線形結合を学習するために訓練されたアダプタモジュールを用いた語彙適応手法を提案する。 VocADTは、外部リソースや言語制約を必要とせずに、柔軟でスケーラブルなソリューションを提供する。 ラテン文字言語と高度に断片化された言語は語彙適応の恩恵を最も受ける。
  論文  参考訳（メタデータ） (2024-10-12T20:45:24Z)
• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
  非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。 本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。 その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
  論文  参考訳（メタデータ） (2021-05-15T23:51:11Z)
• Multitasking Inhibits Semantic Drift [46.71462510028727]
  潜在言語政策(LLP)における学習のダイナミクスについて検討する。 LLPは長距離強化学習の課題を解くことができる。 これまでの研究では、LPPトレーニングは意味的ドリフトの傾向が見られた。
  論文  参考訳（メタデータ） (2021-04-15T03:42:17Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。