論文の概要: Exploring Multiple Strategies to Improve Multilingual Coreference Resolution in CorefUD

• arxiv url: http://arxiv.org/abs/2408.16893v2
• Date: Sun, 22 Sep 2024 13:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:08:49.204194
• Title: Exploring Multiple Strategies to Improve Multilingual Coreference Resolution in CorefUD
• Title（参考訳）: CorefUDにおけるマルチリンガル干渉分解能向上のための多重戦略の探索
• Authors: Ondřej Pražák, Miloslav Konopík,
• Abstract要約: 本稿では,エンド・ツー・エンドのニューラル・コアス・リゾリューションシステムについて述べる。 まず、モノリンガルとクロスリンガルのバリエーションを含む強力なベースラインモデルを構築します。 多様な言語文脈における性能向上のためのいくつかの拡張を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Coreference resolution, the task of identifying expressions in text that refer to the same entity, is a critical component in various natural language processing (NLP) applications. This paper presents our end-to-end neural coreference resolution system, utilizing the CorefUD 1.1 dataset, which spans 17 datasets across 12 languages. Our model is based on the end-to-end neural coreference resolution system. We first establish strong baseline models, including monolingual and cross-lingual variations, and then propose several extensions to enhance performance across diverse linguistic contexts. These extensions include cross-lingual training, incorporation of syntactic information, a Span2Head model for optimized headword prediction, and advanced singleton modeling. We also experiment with headword span representation and long-document modeling through overlapping segments. The proposed extensions, particularly the heads-only approach, singleton modeling, and long document prediction, significantly improve performance across most datasets. We also perform zero-shot cross-lingual experiments, highlighting the potential and limitations of cross-lingual transfer in coreference resolution. Our findings contribute to the development of robust and scalable coreference systems for multilingual coreference resolution. Finally, we evaluate our model on the CorefUD 1.1 test set and surpass the best model from the CRAC 2023 shared task of comparable size by a large margin. Our model is available on GitHub: https://github.com/ondfa/coref-multiling
• Abstract（参考訳）: テキスト中の同じエンティティを参照する式を識別するタスクである参照解決は、さまざまな自然言語処理(NLP)アプリケーションにおいて重要なコンポーネントである。 本稿では,12言語にまたがる17のデータセットにまたがるCorefUD 1.1データセットを用いて,エンドツーエンドのニューラルコア参照解決システムを提案する。 我々のモデルは、エンドツーエンドのニューラルコア参照解決システムに基づいている。 まず、単言語と言語間変異を含む強力なベースラインモデルを構築し、その後、多様な言語文脈における性能向上のためのいくつかの拡張を提案する。 これらの拡張には、言語間のトレーニング、構文情報の取り込み、最適化された単語予測のためのSpan2Headモデル、高度なシングルトンモデリングが含まれる。 また,重なり合うセグメントによる単語スパン表現と長文書モデリングについても実験を行った。 提案された拡張、特にヘッドオンリーのアプローチ、シングルトンモデリング、長いドキュメント予測は、ほとんどのデータセットのパフォーマンスを大幅に改善した。 また、ゼロショット言語間実験を行い、コア参照分解における言語間移動の可能性と限界を強調した。 本研究は,マルチリンガル・コアス・リゾリューションのための堅牢でスケーラブルなコアス・システムの開発に寄与する。 最後に、CorefUD 1.1テストセット上でのモデルの評価を行い、CRAC 2023共有タスクの最良のモデルよりも大きなマージンで比較した。 私たちのモデルはGitHubで利用可能です。

関連論文リスト

• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Reranking Machine Translation Hypotheses with Structured and Web-based Language Models [11.363601836199331]
  N-best Rescoringには2つの構造化言語モデルが適用される。 これらの言語モデルの組み合わせにより、BLEUのスコアはブラインドテストセットで完全に1.6%まで上昇する。
  論文  参考訳（メタデータ） (2021-04-25T22:09:03Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。