Fugu-MT 論文翻訳(概要): 5W1H Extraction With Large Language Models

論文の概要: 5W1H Extraction With Large Language Models

arxiv url: http://arxiv.org/abs/2405.16150v1
Date: Sat, 25 May 2024 09:42:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 00:40:50.416286
Title: 5W1H Extraction With Large Language Models
Title（参考訳）: 大規模言語モデルを用いた5W1H抽出
Authors: Yang Cao, Yangsong Lan, Feiyan Zhai, Piji Li,
Abstract要約: 5W1Hフレームワークによる重要なニュース要素の抽出は、イベント抽出とテキスト要約に不可欠である。 ChatGPTは、より長いニューステキストの処理やコンテキスト内の特定の属性の分析において問題に直面している。我々は、ゼロショット/ファウショットからのいくつかの戦略を設計し、より効率的な微調整を行い、元のニュース文書から5W1Hアスペクトを抽出する。
参考スコア（独自算出の注目度）: 27.409473072672277
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The extraction of essential news elements through the 5W1H framework (\textit{What}, \textit{When}, \textit{Where}, \textit{Why}, \textit{Who}, and \textit{How}) is critical for event extraction and text summarization. The advent of Large language models (LLMs) such as ChatGPT presents an opportunity to address language-related tasks through simple prompts without fine-tuning models with much time. While ChatGPT has encountered challenges in processing longer news texts and analyzing specific attributes in context, especially answering questions about \textit{What}, \textit{Why}, and \textit{How}. The effectiveness of extraction tasks is notably dependent on high-quality human-annotated datasets. However, the absence of such datasets for the 5W1H extraction increases the difficulty of fine-tuning strategies based on open-source LLMs. To address these limitations, first, we annotate a high-quality 5W1H dataset based on four typical news corpora (\textit{CNN/DailyMail}, \textit{XSum}, \textit{NYT}, \textit{RA-MDS}); second, we design several strategies from zero-shot/few-shot prompting to efficient fine-tuning to conduct 5W1H aspects extraction from the original news documents. The experimental results demonstrate that the performance of the fine-tuned models on our labelled dataset is superior to the performance of ChatGPT. Furthermore, we also explore the domain adaptation capability by testing the source-domain (e.g. NYT) models on the target domain corpus (e.g. CNN/DailyMail) for the task of 5W1H extraction.
Abstract（参考訳）: 5W1Hフレームワーク(\textit{What}, \textit{When}, \textit{Where}, \textit{Why}, \textit{Who}, \textit{How})による必須ニュース要素の抽出は、イベント抽出とテキスト要約に不可欠である。 ChatGPTのような大規模言語モデル(LLM)の出現は、多くの時間で微調整モデルなしで単純なプロンプトを通じて言語関連のタスクに対処する機会を提供する。 ChatGPTは、長いニューステキストの処理やコンテキスト内の特定の属性の分析、特に \textit{What}, \textit{Why}, \textit{How} に関する質問に答える際の課題に直面している。抽出タスクの有効性は、高品質な人間の注釈付きデータセットに依存している。しかし、5W1H抽出のためのそのようなデータセットが存在しないと、オープンソースのLCMに基づく微調整戦略の難しさが増す。まず,4つの典型的なニュースコーパス(\textit{CNN/DailyMail}, \textit{XSum}, \textit{NYT}, \textit{RA-MDS})に基づいて,高品質な5W1Hデータセットをアノテートする。実験の結果,ラベル付きデータセット上での微調整モデルの性能はChatGPTよりも優れていた。さらに,5W1H抽出のタスクに対して,対象ドメインコーパス(eg CNN/DailyMail)のソースドメイン(eg NYT)モデルをテストすることで,ドメイン適応性についても検討する。

関連論文リスト

Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
論文参考訳（メタデータ） (2024-07-05T20:25:04Z)
TextSquare: Scaling up Text-Centric Visual Instruction Tuning [64.55339431760727]
大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
論文参考訳（メタデータ） (2024-04-19T11:38:08Z)
Hypertext Entity Extraction in Webpage [112.56734676713721]
textbfMoE ベースの textbfEntity textbfExtraction textbfFramework (textitMoEEF) を導入する。また、textitHEEDにおけるハイパーテキスト機能の有効性と、textitMoEEFにおけるモデルコンポーネントについて分析する。
論文参考訳（メタデータ） (2024-03-04T03:21:40Z)
Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
論文参考訳（メタデータ） (2023-10-15T16:04:28Z)
Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文参考訳（メタデータ） (2022-05-18T09:17:14Z)
A Semi-Supervised Deep Clustering Pipeline for Mining Intentions From Texts [6.599344783327053]
Verint Manager Intent(VIM)は、教師なしおよび半教師なしのアプローチを組み合わせた分析プラットフォームで、アナリストが会話テキストから関連するユーザの意図を素早く分析し整理するのに役立つ。データの最初の探索には、ハイパフォーマンスな言語モデルの微調整を統合する、教師なしで半教師なしのパイプラインを使用します。 BERTはタスクデータの0.5%のラベル付きサブセットを使用して、より優れたタスク認識表現を生成する。
論文参考訳（メタデータ） (2022-02-01T23:01:05Z)
A Flexible Clustering Pipeline for Mining Text Intentions [6.599344783327053]
Verint Intent Manager内にフレキシブルでスケーラブルなクラスタリングパイプラインを作成します。言語モデルの微調整、高性能なk-NNライブラリ、コミュニティ検出技術を統合する。 VIMアプリケーションにデプロイされるように、このクラスタリングパイプラインは高品質な結果を生成する。
論文参考訳（メタデータ） (2022-02-01T22:54:18Z)
TopNet: Learning from Neural Topic Model to Generate Long Stories [43.5564336855688]
Long Story Generation (LSG) は自然言語処理における目標の1つである。短い入力を補完する高品質なスケルトン語を得るために,emphTopNetを提案する。提案手法は骨格語選択に極めて有効であり, 自動評価と人的評価の両方において最先端のモデルよりも優れていた。
論文参考訳（メタデータ） (2021-12-14T09:47:53Z)
HTLM: Hyper-Text Pre-Training and Prompting of Language Models [52.32659647159799]
大規模なWebクローリングで訓練されたハイパーテキスト言語モデルであるHTLMを紹介する。単純化したHTML上でのBARTスタイルのデノベーション損失による事前訓練は、広範囲のタスクや監督レベルに対して非常に効果的な転送を可能にすることを示す。我々は,HTLMに対して,テキストプロンプトが既存のLMに対して行うことよりも,データ効率の面で高い価値を提供することを発見した。
論文参考訳（メタデータ） (2021-07-14T19:39:31Z)
Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。抽出した要約タスクを意味テキストマッチング問題として定式化する。我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。