論文の概要: CroCoSum: A Benchmark Dataset for Cross-Lingual Code-Switched
Summarization
- arxiv url: http://arxiv.org/abs/2303.04092v1
- Date: Tue, 7 Mar 2023 17:52:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 14:29:02.318466
- Title: CroCoSum: A Benchmark Dataset for Cross-Lingual Code-Switched
Summarization
- Title(参考訳): crocosum: 言語間コードスイッチによる要約のためのベンチマークデータセット
- Authors: Ruochen Zhang and Carsten Eickhoff
- Abstract要約: 近年,大規模Webマイニングデータセットの利用可能化により,言語間要約(CLS)への関心が高まっている。
我々はCroCoSumを紹介した。CroCoSumは、言語間のコード変更による技術ニュースの要約のデータセットである。
- 参考スコア(独自算出の注目度): 13.922079283288033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-lingual summarization (CLS) has attracted increasing interest in recent
years due to the availability of large-scale web-mined datasets and the
advancements of multilingual language models. However, given the rareness of
naturally occurring CLS resources, the majority of datasets are forced to rely
on translation which can contain overly literal artifacts. This restricts our
ability to observe naturally occurring CLS pairs that capture organic diction,
including instances of code-switching. This alteration between languages in
mid-message is a common phenomenon in multilingual settings yet has been
largely overlooked in cross-lingual contexts due to data scarcity. To address
this gap, we introduce CroCoSum, a dataset of cross-lingual code-switched
summarization of technology news. It consists of over 24,000 English source
articles and 18,000 human-curated Chinese news summaries, with more than 92% of
the summaries containing code-switched phrases. For reference, we evaluate the
performance of existing approaches including pipeline, end-to-end, and
zero-shot methods. We show that leveraging existing resources as a pretraining
step does not improve performance on CroCoSum, indicating the limited
generalizability of existing resources. Finally, we discuss the challenges of
evaluating cross-lingual summarizers on code-switched generation through
qualitative error analyses. Our collection and code can be accessed at
https://github.com/RosenZhang/CroCoSum.
- Abstract(参考訳): 言語間要約(CLS)は、大規模Webマイニングデータセットの可用性と多言語言語モデルの進歩により、近年、関心が高まりつつある。
しかし、自然に発生するCLS資源の希少さを考えると、ほとんどのデータセットは過度に人工的なアーティファクトを含むことができる翻訳に頼らざるを得ない。
これにより、コードスイッチングのインスタンスを含む有機的辞書をキャプチャする自然発生のCLSペアを観測する能力を制限することができます。
メッセージ中の言語間のこの変更は、多言語環境では一般的な現象であるが、データ不足のため、言語間のコンテキストでは見過ごされている。
このギャップに対処するために,技術ニュースのクロスリンガルコード切り換え要約のデータセットであるcrocosumを紹介する。
24,000以上の英語ソース記事と18,000の中国語ニュース要約で構成されており、92%以上の要約にはコード切り換えされたフレーズが含まれている。
参考までに、パイプライン、エンドツーエンド、ゼロショットメソッドを含む既存のアプローチのパフォーマンスを評価する。
既存の資源を事前学習段階として活用しても,crocosumの性能は向上しないことを示す。
最後に,定性的誤り解析によるコードスイッチト生成における言語間要約の課題について論じる。
私たちのコレクションとコードはhttps://github.com/RosenZhang/CroCoSumでアクセスできます。
関連論文リスト
- Understanding Translationese in Cross-Lingual Summarization [44.99508739235315]
言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。
大規模なCRSサンプルを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。
本研究では,翻訳文がCLSモデルの評価と性能にどのような影響を及ぼすかを検討する。
論文 参考訳(メタデータ) (2022-12-14T13:41:49Z) - CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual
Retrieval [73.48591773882052]
ほとんどのファクトチェックアプローチは、他の言語におけるデータ不足の問題にのみ英語に焦点を当てている。
クロスリンガル検索を付加した最初のファクトチェックフレームワークを提案する。
提案したクロスリンガル逆クローズタスク(XICT)を用いてレトリバーを訓練する。
論文 参考訳(メタデータ) (2022-09-05T17:36:14Z) - A Variational Hierarchical Model for Neural Cross-Lingual Summarization [85.44969140204026]
言語間の要約(英: cross-lingual summarization)とは、ある言語の文書を別の言語の要約に変換することである。
CLSに関する既存の研究は主にパイプライン手法の利用やエンドツーエンドモデルの共同トレーニングに重点を置いている。
条件付き変分自動エンコーダに基づくCLSタスクの階層モデルを提案する。
論文 参考訳(メタデータ) (2022-03-08T02:46:11Z) - ClueGraphSum: Let Key Clues Guide the Cross-Lingual Abstractive
Summarization [5.873920727236548]
言語間の要約は、異なる言語の記事に対して1つの言語で要約を生成するタスクである。
CLSに関するこれまでの研究は主にパイプライン方式を採用し、翻訳された並列データを使ってエンドツーエンドモデルを訓練していた。
本稿では,言語間要約の品質向上を図るために,手掛かり付き言語間抽象要約手法を提案する。
論文 参考訳(メタデータ) (2022-03-05T18:01:11Z) - Improving Low-resource Reading Comprehension via Cross-lingual
Transposition Rethinking [0.9236074230806579]
Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。
このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。
多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
論文 参考訳(メタデータ) (2021-07-11T09:35:16Z) - Cross-Lingual Abstractive Summarization with Limited Parallel Resources [22.680714603332355]
低リソース環境下でのクロスリンガル抽象要約(MCLAS)のための新しいマルチタスクフレームワークを提案する。
1つの統一デコーダを用いてモノリンガルとクロスリンガルの要約の逐次連結を生成することで、MCLASはモノリンガルの要約タスクをクロスリンガルの要約タスクの前提条件とする。
我々のモデルは、低リソースとフルデータセットの両方のシナリオにおいて、3つのベースラインモデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2021-05-28T07:51:42Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳(メタデータ) (2020-10-30T03:41:38Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z) - XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training,
Understanding and Generation [100.09099800591822]
XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。
XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
論文 参考訳(メタデータ) (2020-04-03T07:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。