Fugu-MT 論文翻訳(概要): Key-Element-Informed sLLM Tuning for Document Summarization

論文の概要: Key-Element-Informed sLLM Tuning for Document Summarization

arxiv url: http://arxiv.org/abs/2406.04625v1
Date: Fri, 7 Jun 2024 04:19:01 GMT
ステータス: 処理完了
システム内更新日: 2024-06-10 15:29:23.670283
Title: Key-Element-Informed sLLM Tuning for Document Summarization
Title（参考訳）: 文書要約のためのキー要素インフォームドsLLMチューニング
Authors: Sangwon Ryu, Heejin Do, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok,
Abstract要約: 文書中のキー要素を識別し,これらのキー要素をキャプチャする要約を生成するためのsLLMを指示する,KEITSumと呼ばれるキー要素インフォームド命令チューニングを提案する。対話とニュースデータセットの実験結果から,KEITSumを用いたsLLMは高い関連性と幻覚の少ない高品質な要約を実現し,プロプライエタリなLLMと競合することを示した。
参考スコア（独自算出の注目度）: 12.083649916114402
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Remarkable advances in large language models (LLMs) have enabled high-quality text summarization. However, this capability is currently accessible only through LLMs of substantial size or proprietary LLMs with usage fees. In response, smaller-scale LLMs (sLLMs) of easy accessibility and low costs have been extensively studied, yet they often suffer from missing key information and entities, i.e., low relevance, in particular, when input documents are long. We hence propose a key-element-informed instruction tuning for summarization, so-called KEITSum, which identifies key elements in documents and instructs sLLM to generate summaries capturing these key elements. Experimental results on dialogue and news datasets demonstrate that sLLM with KEITSum indeed provides high-quality summarization with higher relevance and less hallucinations, competitive to proprietary LLM.
Abstract（参考訳）: 大きな言語モデル(LLM)の顕著な進歩により、高品質なテキスト要約が可能になった。しかし、この機能は現在、かなりのサイズのLLMまたは使用料のプロプライエタリなLLMを通じてのみアクセス可能である。これに対し、容易なアクセシビリティと低コストの小型LCM(sLLM)が広く研究されているが、特に入力ドキュメントが長い場合、キー情報やエンティティの欠落に悩まされることが多い。そこで我々は,文書中のキー要素を識別し,これらのキー要素をキャプチャする要約を生成するためにsLLMを指示する,いわゆるKEITSumというキー要素インフォームド命令チューニングを提案する。対話とニュースデータセットの実験結果から、KEITSumを用いたsLLMは、プロプライエタリなLLMと競合する、高い関連性と幻覚の少ない高品質な要約を提供することを示した。

関連論文リスト

Redefining Simplicity: Benchmarking Large Language Models from Lexical to Document Simplification [21.727596753351072]
テキスト単純化(英: Text simplification, TS)とは、テキストの複雑さを減らし、本来の意味とキー情報を保持する過程である。既存の研究は、大きな言語モデル(LLM)が、文の単純化に関する非LLMベースの手法よりも優れていることを示しているだけである。
論文参考訳（メタデータ） (2025-02-12T10:38:22Z)
Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
論文参考訳（メタデータ） (2025-02-03T17:47:03Z)
Self-Explained Keywords Empower Large Language Models for Code Generation [5.236633572296712]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 Sek(textbfSelf-textbfExplained textbfKeywords)は、LLM自体による問題記述における重要な用語を抽出し、説明する。
論文参考訳（メタデータ） (2024-10-21T12:52:03Z)
Salient Information Prompting to Steer Content in Prompt-based Abstractive Summarization [4.9201947803787744]
大規模言語モデル (LLMs) は、プロンプト技術を用いて、ドメイン間の流動的な要約を生成することができる。キーフレーズをプロンプトに追加することで、ROUGE F1とリコールが改善されることを示す。本稿では,有意なキーフレーズを抽出する軽量モデルであるKeyphrase Signal Extractor (SigExt)を紹介する。
論文参考訳（メタデータ） (2024-10-03T17:54:56Z)
Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
論文参考訳（メタデータ） (2024-08-28T13:52:19Z)
Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
論文参考訳（メタデータ） (2024-02-21T00:44:04Z)
SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文参考訳（メタデータ） (2023-11-28T05:53:55Z)
Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-11-03T14:39:20Z)
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文参考訳（メタデータ） (2023-08-23T09:45:29Z)
Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
論文参考訳（メタデータ） (2023-05-22T18:54:35Z)
Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。