論文の概要: MTG: A Benchmarking Suite for Multilingual Text Generation
- arxiv url: http://arxiv.org/abs/2108.07140v1
- Date: Fri, 13 Aug 2021 13:25:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 15:18:06.911530
- Title: MTG: A Benchmarking Suite for Multilingual Text Generation
- Title（参考訳）: MTG:多言語テキスト生成のためのベンチマークスイート
- Authors: Yiran Chen, Zhenqiao Song, Xianze Wu, Danqing Wang, Jingjing Xu, Jiaze
Chen, Hao Zhou, Lei Li
- Abstract要約: MTGは、多言語テキスト生成のトレーニングと評価のための新しいベンチマークスイートである。
これは3つのタスクに対して120kの人間によるマルチウェイ並列データを持つ最初の、かつ最大のテキスト生成ベンチマークである。
そこで我々は,様々な評価シナリオを設定し,一般的な多言語生成モデルについて深く分析した。
- 参考スコア（独自算出の注目度）: 36.29753205591252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce MTG, a new benchmark suite for training and evaluating
multilingual text generation. It is the first and largest text generation
benchmark with 120k human-annotated multi-way parallel data for three tasks
(story generation, question generation, and title generation) across four
languages (English, German, French, and Spanish). Based on it, we set various
evaluation scenarios and make a deep analysis of several popular multilingual
generation models from different aspects. Our benchmark suite will encourage
the multilingualism for text generation community with more human-annotated
parallel data and more diverse generation scenarios.
- Abstract（参考訳）: MTGは多言語テキスト生成のトレーニングと評価のための新しいベンチマークスイートである。
これは4つの言語(英語、ドイツ語、フランス語、スペイン語)にまたがる3つのタスク(ストーリー生成、質問生成、タイトル生成)に対して120kのマルチウェイ並列データを持つ、最初の、そして最大のテキスト生成ベンチマークである。
そこで我々は,様々な評価シナリオを設定し,様々な側面から人気多言語生成モデルを深く分析する。
我々のベンチマークスイートは、より人間的な注釈付き並列データとより多様な生成シナリオによって、テキスト生成コミュニティの多言語化を促進する。
関連論文リスト
- MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts [0.6053347262128919]
MultiSocial データセットには 472,097 のテキストが含まれており、そのうち約58k が人文で書かれている。
このベンチマークを用いて、ゼロショットの既存の検出手法と微調整形式を比較した。
以上の結果から,微調整された検出器はソーシャルメディア上でのトレーニングに問題はないことが示唆された。
論文 参考訳（メタデータ） (2024-06-18T12:26:09Z) - Wav2Gloss: Generating Interlinear Glossed Text from Speech [78.64412090339044]
音声から4つの言語アノテーションを自動抽出するタスクであるWav2Glossを提案する。
音声からのインターリニア・グロッシド・テキスト・ジェネレーションの今後の研究の基盤となる基盤となるものについて述べる。
論文 参考訳（メタデータ） (2024-03-19T21:45:29Z) - MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection
Benchmark [10.92793962395538]
MultiTuDEは、多言語マシン生成テキスト検出のための新しいベンチマークデータセットである。
11の言語で74,081の認証テキストと機械生成テキストで構成されている。
ゼロショット(統計とブラックボックス)と微調整検出器の性能を比較した。
論文 参考訳（メタデータ） (2023-10-20T15:57:17Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳（メタデータ） (2022-10-26T17:17:06Z) - XF2T: Cross-lingual Fact-to-Text Generation for Low-Resource Languages [11.581072296148031]
拡張多言語データセット上で、人気のあるTransformerベースのテキスト生成モデルを用いて広範な研究を行う。
構造認識型入力エンコーディングとファクト認識を用いたマルチ言語 mT5 モデルにより,12言語の平均結果が得られた。
論文 参考訳（メタデータ） (2022-09-22T18:01:27Z) - HinGE: A Dataset for Generation and Evaluation of Code-Mixed Hinglish
Text [1.6675267471157407]
我々は、広く普及しているHinglish(ヒンディー語と英語のコードミキシング)のためのコーパス(HinGE)を提示する。
HinGEには、人間が生成するヒングリッシュ文と、平行なヒンディー語文に対応する2つのルールベースのアルゴリズムがある。
さらに,コード混合データ上で広く利用されている評価指標の有効性を実証した。
論文 参考訳（メタデータ） (2021-07-08T11:11:37Z) - Multilingual AMR-to-Text Generation [22.842874899794996]
20の異なる言語で生成する多言語AMR-to-textモデルを作成する。
自動メトリクスに基づく18言語の場合、我々の多言語モデルは単一の言語を生成するベースラインを超えます。
我々は、人間の評価を用いて形態や単語の順序を正確に把握する多言語モデルの能力を分析し、母語話者が我々の世代を流動的であると判断する。
論文 参考訳（メタデータ） (2020-11-10T22:47:14Z) - Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。
ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。
例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文 参考訳（メタデータ） (2020-06-26T14:43:43Z) - XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training,
Understanding and Generation [100.09099800591822]
XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。
XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
論文 参考訳（メタデータ） (2020-04-03T07:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。