Fugu-MT 論文翻訳(概要): Zero-Shot Cross-Lingual Summarization via Large Language Models

論文の概要: Zero-Shot Cross-Lingual Summarization via Large Language Models

arxiv url: http://arxiv.org/abs/2302.14229v4
Date: Tue, 24 Oct 2023 15:34:47 GMT
ステータス: 処理完了
システム内更新日: 2023-10-26 01:35:07.830128
Title: Zero-Shot Cross-Lingual Summarization via Large Language Models
Title（参考訳）: 大規模言語モデルによるゼロショットクロスリンガル要約
Authors: Jiaan Wang, Yunlong Liang, Fandong Meng, Beiqi Zou, Zhixu Li, Jianfeng Qu, Jie Zhou
Abstract要約: 言語間要約(CLS)は、異なる対象言語で要約を生成する。近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
参考スコア（独自算出の注目度）: 108.30673793281987
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Given a document in a source language, cross-lingual summarization (CLS) aims to generate a summary in a different target language. Recently, the emergence of Large Language Models (LLMs), such as GPT-3.5, ChatGPT and GPT-4, has attracted wide attention from the computational linguistics community. However, it is not yet known the performance of LLMs on CLS. In this report, we empirically use various prompts to guide LLMs to perform zero-shot CLS from different paradigms (i.e., end-to-end and pipeline), and provide a preliminary evaluation on the generated summaries. We find that ChatGPT and GPT-4 originally prefer to produce lengthy summaries with detailed information. These two LLMs can further balance informativeness and conciseness with the help of an interactive prompt, significantly improving their CLS performance. Experimental results on three widely-used CLS datasets show that GPT-4 achieves state-of-the-art zero-shot CLS performance, and performs competitively compared with the fine-tuned mBART-50. Moreover, we also find some multi-lingual and bilingual LLMs (i.e., BLOOMZ, ChatGLM-6B, Vicuna-13B and ChatYuan) have limited zero-shot CLS ability. Due to the composite nature of CLS, which requires models to perform summarization and translation simultaneously, accomplishing this task in a zero-shot manner is even a challenge for LLMs. Therefore, we sincerely hope and recommend future LLM research could use CLS as a testbed.
Abstract（参考訳）: ソース言語の文書が与えられた場合、言語間要約(CLS)は異なるターゲット言語で要約を生成することを目的としている。近年, GPT-3.5, ChatGPT, GPT-4 などの大規模言語モデル (LLM) の出現は, 計算言語学コミュニティから広く注目を集めている。しかし、LS上でのLSMの性能は未だ分かっていない。本稿では,異なるパラダイム(エンド・ツー・エンド・エンド・パイプライン)からゼロショットCLSを誘導するための様々なプロンプトを実証的に使用し,生成したサマリーの予備評価を行う。 ChatGPT と GPT-4 はもともと,詳細な情報を持つ長文要約が好まれていた。これらの2つのLSMは、対話的なプロンプトの助けを借りて、情報量と簡潔さを更にバランスさせ、CLSの性能を大幅に向上させることができる。 3つの広く使用されているCLSデータセットによる実験結果から、GPT-4は最先端のゼロショットCLS性能を達成し、微細調整されたmBART-50と競合して性能を発揮することが示された。さらに,多言語およびバイリンガルLLM(BLOOMZ,ChatGLM-6B,Vicuna-13B,ChatYuan)はゼロショットCLS能力に制限がある。要約と翻訳を同時に行うモデルを必要とするCLSの合成特性のため、ゼロショット方式でこのタスクを実現することは、LSMにとっての課題である。したがって、今後のLSM研究がLSをテストベッドとして利用できることを心から願っています。

関連論文リスト

Investigating Large Language Models for Complex Word Identification in Multilingual and Multidomain Setups [1.8377902806196766]
複雑な単語識別(CWI)は語彙的単純化作業において必須のステップであり、最近はそれ自体がタスクとなっている。大規模言語モデル(LLM)は最近、ゼロ/フェーショット設定で目に見えないタスクを解決できる汎用性と能力のために、自然言語処理コミュニティで人気を博した。 Llama 2, Llama 3, Vicuna v1.5などのオープンソースモデルや, CWI, LCP, MWE設定におけるChatGPT-3.5-turbo, GPT-4oなどのクローズソースなど, LLMの使用状況について検討した。
論文参考訳（メタデータ） (2024-11-03T22:31:02Z)
Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文参考訳（メタデータ） (2024-10-26T00:39:44Z)
ConVerSum: A Contrastive Learning-based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents [4.029675201787349]
言語間の要約は自然言語処理の洗練された分野である。高品質なCLSデータがない場合、CLSには実現可能な解決策がない。コントラスト学習のパワーを活かしたCLSのための新しいデータ効率のアプローチであるConVerSumを提案する。
論文参考訳（メタデータ） (2024-08-17T19:03:53Z)
Low-Resource Cross-Lingual Summarization through Few-Shot Learning with Large Language Models [4.9325206373289125]
言語間要約(XLS)は、ソース言語文書とは異なる対象言語で要約を生成することを目的としている。大規模言語モデル(LLM)では、ゼロショットXLSのパフォーマンスが期待できるが、このタスクの少数ショット機能はまだ探索されていない。 Mistral-7B-Instruct-v0.2, GPT-3.5, GPT-4など, 各種モデルのXLS性能について検討した。
論文参考訳（メタデータ） (2024-06-07T04:31:41Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
SCALE: Synergized Collaboration of Asymmetric Language Translation Engines [105.8983433641208]
本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。 STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2023-09-29T08:46:38Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。