論文の概要: ClidSum: A Benchmark Dataset for Cross-Lingual Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2202.05599v1
• Date: Fri, 11 Feb 2022 13:32:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 14:24:02.210870
• Title: ClidSum: A Benchmark Dataset for Cross-Lingual Dialogue Summarization
• Title（参考訳）: ClidSum: 言語間対話要約のためのベンチマークデータセット
• Authors: Jiaan Wang, Fandong Meng, Ziyao Lu, Duo Zheng, Zhixu Li, Jianfeng Qu, Jie Zhou
• Abstract要約: 本稿では,対話文書を用いた言語間要約システム構築のためのベンチマークデータセットClidSumを提案する。 それは、2つのサブセット(SAMSumとMediaSum)から67k以上の対話文書と、異なるターゲット言語における112k以上の注釈付き要約からなる。
• 参考スコア（独自算出の注目度）: 41.68574396739112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ClidSum, a benchmark dataset for building cross-lingual summarization systems on dialogue documents. It consists of 67k+ dialogue documents from two subsets (i.e., SAMSum and MediaSum) and 112k+ annotated summaries in different target languages. Based on the proposed ClidSum, we introduce two benchmark settings for supervised and semi-supervised scenarios, respectively. We then build various baseline systems in different paradigms (pipeline and end-to-end) and conduct extensive experiments on ClidSum to provide deeper analyses. Furthermore, we propose mDialBART which extends mBART-50 (a multi-lingual BART) via further pre-training. The multiple objectives used in the further pre-training stage help the pre-trained model capture the structural characteristics as well as important content in dialogues and the transformation from source to the target language. Experimental results show the superiority of mDialBART, as an end-to-end model, outperforms strong pipeline models on ClidSum. Finally, we discuss specific challenges that current approaches faced with this task and give multiple promising directions for future research. We have released the dataset and code at https://github.com/krystalan/ClidSum.
• Abstract（参考訳）: 本稿では,対話文書を用いた言語間要約システム構築のためのベンチマークデータセットClidSumを提案する。 2つのサブセット(samsumとmediasum)から67k以上の対話文書と、異なるターゲット言語で112k以上の注釈付き要約からなる。 提案したClidSumに基づいて,教師付きシナリオと半教師付きシナリオのベンチマーク設定をそれぞれ2つ導入する。 次に、異なるパラダイム(パイプラインとエンドツーエンド)で様々なベースラインシステムを構築し、ClidSum上で広範な実験を行い、より深く分析する。 さらに,mBART-50(多言語BART)を拡張したmDialBARTを提案する。 さらなる事前学習段階において使われる複数の目的により、事前訓練されたモデルは、対話における構造的特徴と重要な内容、およびソースからターゲット言語への変換を捉えることができる。 実験結果から,mDialBARTはエンドツーエンドモデルとして,ClidSum上での強いパイプラインモデルよりも優れていた。 最後に、本課題に直面する現在の課題について論じ、今後の研究に有望な複数の方向性を示す。 データセットとコードはhttps://github.com/krystalan/ClidSumでリリースしました。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• MLS-Track: Multilevel Semantic Interaction in RMOT [31.153018571396206]
  本論文では,Unreal Engine 5をベースとした高品質で低コストなデータ生成手法を提案する。 我々は新しいベンチマークデータセット、Refer-UE-Cityを構築し、主に交差点監視ビデオのシーンを含む。 また、MLS-Trackと呼ばれるマルチレベル意味誘導型多目的フレームワークを提案し、モデルとテキスト間の相互作用を層単位で強化する。
  論文  参考訳（メタデータ） (2024-04-18T09:31:03Z)
• Dynamic-SUPERB: Towards A Dynamic, Collaborative, and Comprehensive Instruction-Tuning Benchmark for Speech [107.81472531864195]
  テキスト言語モデルは、よく整形された命令が与えられたときに、目に見えないタスクに一般化する際、顕著なゼロショット能力を示している。 ゼロショット方式で複数のタスクを実行するための命令チューニングを活用できるユニバーサル音声モデルを構築するためのベンチマークであるDynamic-SUPERBを提案する。
  論文  参考訳（メタデータ） (2023-09-18T06:43:30Z)
• CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation [75.60156479374416]
  CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
  論文  参考訳（メタデータ） (2022-11-21T16:21:41Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• CrossSum: Beyond English-Centric Cross-Lingual Summarization for 1,500+ Language Pairs [27.574815708395203]
  CrossSumは1500以上の言語対の1,68万記事要約サンプルからなる大規模言語間要約データセットである。 我々は、多言語抽象要約データセットからのクロス言語検索により、異なる言語で記述された並列記事の整列により、クロスサムを作成する。 対象言語における記事の要約が可能な言語間要約モデルを効果的に学習する多段階データサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:40:36Z)
• A Survey of Recent Abstract Summarization Techniques [0.0]
  英語とインドネシア語のウィキペディアデータセットに対する事前学習モデルの影響について検討する。 ROUGEのパフォーマンスに影響を与える最も重要な要因は、カバレッジ、密度、圧縮です。 T5-Large、Pegasus-XSum、ProphetNet-CNNDMは最高の要約を提供する。
  論文  参考訳（メタデータ） (2021-04-15T20:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。