論文の概要: ConVerSum: A Contrastive Learning based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents

• arxiv url: http://arxiv.org/abs/2408.09273v1
• Date: Sat, 17 Aug 2024 19:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 21:29:47.455595
• Title: ConVerSum: A Contrastive Learning based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents
• Title（参考訳）: ConVerSum: 直接等価性を超えた言語間要約のデータスカースソリューションのためのコントラスト学習ベースのアプローチ
• Authors: Sanzana Karim Lora, Rifat Shahriyar,
• Abstract要約: 言語間要約は自然言語処理の洗練された分野である。 高品質なCLSデータがない場合、CLSには実現可能な解決策がない。 コントラスト学習のパワーを活かしたCLSのための新しいデータ効率のアプローチであるConVerSumを提案する。
• 参考スコア（独自算出の注目度）: 3.356903304289716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-Lingual summarization (CLS) is a sophisticated branch in Natural Language Processing that demands models to accurately translate and summarize articles from different source languages. Despite the improvement of the subsequent studies, This area still needs data-efficient solutions along with effective training methodologies. To the best of our knowledge, there is no feasible solution for CLS when there is no available high-quality CLS data. In this paper, we propose a novel data-efficient approach, ConVerSum, for CLS leveraging the power of contrastive learning, generating versatile candidate summaries in different languages based on the given source document and contrasting these summaries with reference summaries concerning the given documents. After that, we train the model with a contrastive ranking loss. Then, we rigorously evaluate the proposed approach against current methodologies and compare it to powerful Large Language Models (LLMs)- Gemini, GPT 3.5, and GPT 4 proving our model performs better for low-resource languages' CLS. These findings represent a substantial improvement in the area, opening the door to more efficient and accurate cross-lingual summarizing techniques.
• Abstract（参考訳）: 言語間要約(CLS)は自然言語処理の洗練された分野であり、異なるソース言語からの記事を正確に翻訳し要約することをモデルに要求する。 その後の研究は改善されたものの、この領域には効果的なトレーニング手法とともに、データ効率のよいソリューションがまだ必要である。 我々の知る限りでは、高品質なCLSデータがない場合には、CLSに実現可能な解決策は存在しない。 本稿では,コントラスト学習の力を活用した新たなデータ効率向上手法であるConVerSumを提案する。 その後、比較的なランキング損失でモデルをトレーニングします。 そこで我々は,提案手法に対する提案手法を厳格に評価し,ジェミニ,GPT 3.5,GPT 4 といった強力な大規模言語モデルと比較し,低リソース言語 CLS に優れた性能を示す。 これらの知見は、より効率的で正確な言語間要約技術への扉を開くことで、領域の大幅な改善を示している。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Leveraging Entailment Judgements in Cross-Lingual Summarisation [3.771795120498178]
  クロスLingual Summarisation (CLS)データセットは、参照要約が対応する文書に不信であるような文書-要約ペアを含む傾向にある。 この低いデータ品質はモデル学習を誤解させ、評価結果を曖昧にする。 我々は,参照の忠実さとモデル生成要約を評価するために,既成の言語間自然言語推論(X-NLI)を提案する。
  論文  参考訳（メタデータ） (2024-08-01T16:18:09Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。