Fugu-MT 論文翻訳(概要): Incorporating Knowledge into Document Summarization: an Application of Prefix-Tuning on GPT-2

論文の概要: Incorporating Knowledge into Document Summarization: an Application of Prefix-Tuning on GPT-2

arxiv url: http://arxiv.org/abs/2301.11719v2
Date: Tue, 31 Jan 2023 09:55:23 GMT
ステータス: 処理完了
システム内更新日: 2023-02-01 12:47:09.163489
Title: Incorporating Knowledge into Document Summarization: an Application of Prefix-Tuning on GPT-2
Title（参考訳）: 文書要約に知識を組み込む: GPT-2における事前修正の適用
Authors: Chen Chen, Wei Emma Zhang, Alireza Seyed Shakeri
Abstract要約: 本稿では,訓練可能な連続プレフィックスプロンプトと個別プロンプトを組み合わせてモデル生成を支援するプレフィックスチューニングベースのアプローチを提案する。生成した要約における事実保存の改善は、知識強調文書要約におけるプレフィックスチューニングに基づく手法の適用の有効性を示している。
参考スコア（独自算出の注目度）: 10.767637417664105
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the great development of document summarization techniques nowadays, factual inconsistencies between the generated summaries and the original text still occur from time to time. This paper proposes a prefix-tuning-based approach that uses a set of trainable continuous prefix prompt together with discrete prompts to aid model generation, which makes a significant impact on both CNN/Daily Mail and XSum summaries generated using GPT-2. The improvements on fact preservation in the generated summaries indicates the effectiveness of adopting this prefix-tuning-based method in knowledge-enhanced document summarization, and also shows a great potential on other natural language processing tasks.
Abstract（参考訳）: 近年の文書要約技術の発展にもかかわらず、生成した要約と原文との事実的不一致は時折起こり続けている。本稿では,学習可能な連続プレフィックスプロンプトと離散的なプロンプトを併用してモデル生成を支援するプレフィックスチューニング手法を提案する。生成した要約における事実保存の改善は、知識強化文書要約にこのプレフィックスチューニングに基づく手法を適用する効果を示し、他の自然言語処理タスクにも大きな可能性を示す。

関連論文リスト

Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
論文参考訳（メタデータ） (2024-08-20T02:19:35Z)
Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
論文参考訳（メタデータ） (2024-07-05T20:25:04Z)
XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution [26.639271355209104]
LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。本稿では,共同プロンプト帰属型XPromptに基づく実例説明フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-30T18:16:41Z)
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning [77.07192378869776]
本稿では,報酬学習と実効性指標の最近の発展を取り入れた,シンプルだが効果的なコントラスト学習フレームワークを提案する。実証的研究により,提案手法により,実測値のフィードバックから要約モデルを学習できることが実証された。
論文参考訳（メタデータ） (2023-07-10T12:01:18Z)
Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
論文参考訳（メタデータ） (2023-05-31T21:04:04Z)
SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文参考訳（メタデータ） (2023-05-24T07:40:06Z)
Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文参考訳（メタデータ） (2022-10-04T18:32:14Z)
A General Contextualized Rewriting Framework for Text Summarization [15.311467109946571]
抽出文は比較的焦点が当てられているが、背景知識や談話の文脈が失われる可能性がある。コンテントベースのアドレッシングによって抽出文を識別し、グループタグアライメントを施したSeq2seqとしてコンテクスト化された書き直しを形式化する。その結果,本手法は強化学習を必要とせず,非コンテクスチュアライズされた書き換えシステムよりも優れていた。
論文参考訳（メタデータ） (2022-07-13T03:55:57Z)
Better Highlighting: Creating Sub-Sentence Summary Highlights [40.46639471959677]
本稿では,混乱を避けるために,自己完結型ハイライトを生成する新しい手法を提案する。提案手法は, 決定点過程と文脈表現を組み合わせ, 部分文セグメントの最適集合を同定する。本手法の柔軟性とモデリング能力を示すため,要約データセットに関する広範な実験を行った。
論文参考訳（メタデータ） (2020-10-20T18:57:42Z)
Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。