論文の概要: Language Model Priming for Cross-Lingual Event Extraction
- arxiv url: http://arxiv.org/abs/2109.12383v1
- Date: Sat, 25 Sep 2021 15:19:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:38:48.494666
- Title: Language Model Priming for Cross-Lingual Event Extraction
- Title（参考訳）: 言語間イベント抽出のための言語モデルプライミング
- Authors: Steven Fincke, Shantanu Agarwal, Scott Miller, Elizabeth Boschee
- Abstract要約: 本稿では,イベント抽出作業のための"プライミング"言語モデルに対する,言語に依存しない新しいアプローチを提案する。
本研究では,スパースおよびノイズの多い学習データの不足を言語モデルで補うことにより,ゼロショットの言語間設定において,引き起こしと引数の検出と分類の両面での精度を向上することを示す。
- 参考スコア（独自算出の注目度）: 1.8734449181723827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel, language-agnostic approach to "priming" language models
for the task of event extraction, providing particularly effective performance
in low-resource and zero-shot cross-lingual settings. With priming, we augment
the input to the transformer stack's language model differently depending on
the question(s) being asked of the model at runtime. For instance, if the model
is being asked to identify arguments for the trigger "protested", we will
provide that trigger as part of the input to the language model, allowing it to
produce different representations for candidate arguments than when it is asked
about arguments for the trigger "arrest" elsewhere in the same sentence. We
show that by enabling the language model to better compensate for the deficits
of sparse and noisy training data, our approach improves both trigger and
argument detection and classification significantly over the state of the art
in a zero-shot cross-lingual setting.
- Abstract（参考訳）: 本稿では,イベント抽出タスクのための言語モデルを"プライミング"するための,新しい言語非依存なアプローチを提案する。
プライミングでは,実行時のモデルに対する質問に応じて,トランスフォーマースタックの言語モデルへの入力を異なる方法で拡張する。
例えば、モデルがトリガーの引数を"テスト"するように求められている場合、言語モデルへの入力の一部としてトリガーを提供し、同じ文内の他の場所でトリガーの"arrest"の引数について尋ねられたときよりも、候補引数の異なる表現を作成できるようにします。
本研究では,スパースおよびノイズの多い学習データの不足を言語モデルで補うことにより,ゼロショットの言語間設定において,引き起こしと引数の検出と分類の両面での精度を向上することを示す。
関連論文リスト
- Language-Independent Representations Improve Zero-Shot Summarization [18.46817967804773]
下流生成タスクで事前訓練されたモデルを微調整すると、ゼロショット条件で大惨事に陥ることが多い。
本研究では,要約に焦点をあて,言語に依存しない表現のレンズを用いてこの問題に対処する。
まず, 出力挙動と内部表現の両面において, 微調整モデルが非常に言語固有であることが示され, その結果, ゼロショット性能は低下した。
論文 参考訳（メタデータ） (2024-04-08T17:56:43Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-14T00:43:33Z) - Model and Data Transfer for Cross-Lingual Sequence Labelling in
Zero-Resource Settings [10.871587311621974]
我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。
この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。
また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
論文 参考訳（メタデータ） (2022-10-23T05:37:35Z) - Shapley Head Pruning: Identifying and Removing Interference in
Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。
固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文 参考訳（メタデータ） (2022-10-11T18:11:37Z) - Multilingual Generative Language Models for Zero-Shot Cross-Lingual
Event Argument Extraction [80.61458287741131]
ゼロショット言語間イベント引数抽出(EAE)における多言語事前学習型生成言語モデルの活用について検討する。
EAEを言語生成タスクとして定式化することにより、イベント構造を効果的にエンコードし、引数間の依存関係をキャプチャする。
提案するモデルでは,多言語事前学習型生成言語モデルを用いて,入力文から抽出した引数で言語に依存しないテンプレートを補う文を生成する。
論文 参考訳（メタデータ） (2022-03-15T23:00:32Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。