論文の概要: Key-Element-Informed sLLM Tuning for Document Summarization
- arxiv url: http://arxiv.org/abs/2406.04625v1
- Date: Fri, 7 Jun 2024 04:19:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 15:29:23.670283
- Title: Key-Element-Informed sLLM Tuning for Document Summarization
- Title(参考訳): 文書要約のためのキー要素インフォームドsLLMチューニング
- Authors: Sangwon Ryu, Heejin Do, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok,
- Abstract要約: 文書中のキー要素を識別し,これらのキー要素をキャプチャする要約を生成するためのsLLMを指示する,KEITSumと呼ばれるキー要素インフォームド命令チューニングを提案する。
対話とニュースデータセットの実験結果から,KEITSumを用いたsLLMは高い関連性と幻覚の少ない高品質な要約を実現し,プロプライエタリなLLMと競合することを示した。
- 参考スコア(独自算出の注目度): 12.083649916114402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remarkable advances in large language models (LLMs) have enabled high-quality text summarization. However, this capability is currently accessible only through LLMs of substantial size or proprietary LLMs with usage fees. In response, smaller-scale LLMs (sLLMs) of easy accessibility and low costs have been extensively studied, yet they often suffer from missing key information and entities, i.e., low relevance, in particular, when input documents are long. We hence propose a key-element-informed instruction tuning for summarization, so-called KEITSum, which identifies key elements in documents and instructs sLLM to generate summaries capturing these key elements. Experimental results on dialogue and news datasets demonstrate that sLLM with KEITSum indeed provides high-quality summarization with higher relevance and less hallucinations, competitive to proprietary LLM.
- Abstract(参考訳): 大きな言語モデル(LLM)の顕著な進歩により、高品質なテキスト要約が可能になった。
しかし、この機能は現在、かなりのサイズのLLMまたは使用料のプロプライエタリなLLMを通じてのみアクセス可能である。
これに対し、容易なアクセシビリティと低コストの小型LCM(sLLM)が広く研究されているが、特に入力ドキュメントが長い場合、キー情報やエンティティの欠落に悩まされることが多い。
そこで我々は,文書中のキー要素を識別し,これらのキー要素をキャプチャする要約を生成するためにsLLMを指示する,いわゆるKEITSumというキー要素インフォームド命令チューニングを提案する。
対話とニュースデータセットの実験結果から、KEITSumを用いたsLLMは、プロプライエタリなLLMと競合する、高い関連性と幻覚の少ない高品質な要約を提供することを示した。
関連論文リスト
- SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳(メタデータ) (2024-07-16T04:41:58Z) - Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities [30.1331670544648]
大規模言語モデル(LLM)はパラメトリックな知識によって制限され、知識集約的なタスクに幻覚をもたらす。
我々は、RAGの検索後のプロセスで機能するエンドツーエンドの抽出・再構成パラダイムである$textitRefiner$を提案する。
論文 参考訳(メタデータ) (2024-06-17T09:25:10Z) - Evaluating the Generalization Ability of Quantized LLMs: Benchmark, Analysis, and Toolbox [46.39670209441478]
大規模言語モデル(LLM)は、複数のシナリオでエキサイティングな進歩を見せている。
メモリフットプリントと推論コストを削減する効果的な方法として、量子化は低ビット幅での性能劣化にも直面する。
この研究は、評価システム、詳細な分析、一般的なツールボックスを含む、この研究トピックのための包括的なベンチマークスイートを提供する。
論文 参考訳(メタデータ) (2024-06-15T12:02:14Z) - Corpus-Steered Query Expansion with Large Language Models [35.64662397095323]
我々はCSQE(Corpus-Steered Query Expansion)を導入し,コーパス内に埋め込まれた知識の取り込みを促進する。
CSQEは、LLMの関連性評価機能を利用して、最初に検索された文書の重要文を体系的に同定する。
大規模な実験により、CSQEは訓練を必要とせず、特にLLMが知識を欠いているクエリで強い性能を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-02-28T03:58:58Z) - BIDER: Bridging Knowledge Inconsistency for Efficient Retrieval-Augmented LLMs via Key Supporting Evidence [23.55601157586831]
本稿では,検索文書をキー・サポート・エビデンス(Key Supporting Evidence)に洗練する手法であるBIDERを紹介する。
我々は,KSEの製作から学習してBIDERを訓練し,その出力をLLMの情報取得の好みに合わせて最大化する。
BIDER は LLM の回答品質を7% 向上させ,検索文書の入力内容長を80% 削減し,既存手法より優れていた。
論文 参考訳(メタデータ) (2024-02-19T14:28:31Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。
我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-11-03T14:39:20Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Element-aware Summarization with Large Language Models: Expert-aligned
Evaluation and Chain-of-Thought Method [35.181659789684545]
自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。
CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。
本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。
実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
論文 参考訳(メタデータ) (2023-05-22T18:54:35Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。