論文の概要: Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization

• arxiv url: http://arxiv.org/abs/2408.02584v1
• Date: Mon, 5 Aug 2024 16:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:07:17.389914
• Title: Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization
• Title（参考訳）: LLMのパワーレバレッジ:高品質アスペクトに基づく要約のための微調整アプローチ
• Authors: Ankan Mullick, Sombit Bose, Rounak Saha, Ayan Kumar Bhowmick, Aditya Vempaty, Pawan Goyal, Niloy Ganguly, Prasenjit Dey, Ravi Kokku,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理における多様なタスクに革命をもたらす可能性を実証している。 本稿ではアスペクトベース要約タスクにおける微調整LDMの可能性について検討する。 我々は,Llama2,Mistral,Gemma,Ayaなどオープンソースファウンデーションの微調整が,パブリックドメイン固有のアスペクトベース要約データセットに与える影響を評価する。
• 参考スコア（独自算出の注目度）: 25.052557735932535
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The ever-increasing volume of digital information necessitates efficient methods for users to extract key insights from lengthy documents. Aspect-based summarization offers a targeted approach, generating summaries focused on specific aspects within a document. Despite advancements in aspect-based summarization research, there is a continuous quest for improved model performance. Given that large language models (LLMs) have demonstrated the potential to revolutionize diverse tasks within natural language processing, particularly in the problem of summarization, this paper explores the potential of fine-tuning LLMs for the aspect-based summarization task. We evaluate the impact of fine-tuning open-source foundation LLMs, including Llama2, Mistral, Gemma and Aya, on a publicly available domain-specific aspect based summary dataset. We hypothesize that this approach will enable these models to effectively identify and extract aspect-related information, leading to superior quality aspect-based summaries compared to the state-of-the-art. We establish a comprehensive evaluation framework to compare the performance of fine-tuned LLMs against competing aspect-based summarization methods and vanilla counterparts of the fine-tuned LLMs. Our work contributes to the field of aspect-based summarization by demonstrating the efficacy of fine-tuning LLMs for generating high-quality aspect-based summaries. Furthermore, it opens doors for further exploration of using LLMs for targeted information extraction tasks across various NLP domains.
• Abstract（参考訳）: デジタル情報の増大は、ユーザが長いドキュメントから重要な洞察を抽出する効率的な方法を必要とする。 アスペクトベースの要約は、対象とするアプローチを提供し、ドキュメント内の特定の側面に焦点を当てた要約を生成する。 アスペクトベースの要約研究の進歩にもかかわらず、モデル性能を改善するための継続的な探求がある。 大規模言語モデル(LLM)は,特に要約問題において,自然言語処理における多様なタスクに革命をもたらす可能性を実証している。 我々は,Llama2,Mistral,Gemma,Ayaなどオープンソースファウンデーションの微調整が,パブリックドメイン固有のアスペクトベース要約データセットに与える影響を評価する。 提案手法は,これらのモデルがアスペクト関連情報を効果的に識別し,抽出することを可能にすることを仮定する。 我々は、微調整LCMの性能を競合するアスペクトベース要約法と、細調整LDMのバニラ法と比較するための総合的な評価フレームワークを構築した。 本研究は,高品質なアスペクトベース要約を生成するための微調整LDMの有効性を示すことによって,アスペクトベース要約の分野に寄与する。 さらに、様々なNLPドメインを対象とした目標情報抽出タスクにLLMを使用するための扉を開いている。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• A Survey on Efficient Inference for Large Language Models [25.572035747669275]
  大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。 LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。 本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
  論文  参考訳（メタデータ） (2024-04-22T15:53:08Z)
• Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification [0.8232137862012223]
  本研究では,Large Language Models (LLMs) のドメイン固有情報の生成と提供における可能性について検討する。 これを実現するために、LLMは知識グラフと事前訓練されたセマンティックベクターを利用するパイプラインに統合される。 その結果,LLMをベースとした組込みと汎用的な事前学習型組込みを組み合わせることで,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-03-18T18:08:44Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Analyzing the Efficacy of an LLM-Only Approach for Image-based Document Question Answering [12.064056743478865]
  文書質問応答タスクにおける視覚エンコーダと言語モデルの相対的寄与について検討する。 我々の包括的分析は6つの多様なベンチマークデータセットを含み、様々なスケールのLCMを利用している。 以上の結果から, LLMにのみ依存する戦略が, 最先端の成果と同等か, 近づいた結果をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-25T07:01:16Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Summary-Oriented Vision Modeling for Multimodal Abstractive Summarization [63.320005222549646]
  マルチモーダル抽象要約(MAS)は、マルチモーダルデータ(テキストとビジョン)から簡潔な要約を作成することを目的としている。 本稿では,要約指向の視覚的特徴によって要約品質を改善することを提案する。 中高、低低、ゼロリソースのシナリオをカバーする44言語の実験は、提案手法の有効性と優位性を検証する。
  論文  参考訳（メタデータ） (2022-12-15T09:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。