論文の概要: Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals?

• arxiv url: http://arxiv.org/abs/2401.10415v2
• Date: Thu, 27 Jun 2024 04:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 19:46:58.581645
• Title: Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals?
• Title（参考訳）: 大規模言語モデル要約器は多様な科学コミュニケーション目標に適応できるか?
• Authors: Marcio Fonseca, Shay B. Cohen,
• Abstract要約: 科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。 MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
• 参考スコア（独自算出の注目度）: 19.814974042343028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the controllability of large language models (LLMs) on scientific summarization tasks. We identify key stylistic and content coverage factors that characterize different types of summaries such as paper reviews, abstracts, and lay summaries. By controlling stylistic features, we find that non-fine-tuned LLMs outperform humans in the MuP review generation task, both in terms of similarity to reference summaries and human preferences. Also, we show that we can improve the controllability of LLMs with keyword-based classifier-free guidance (CFG) while achieving lexical overlap comparable to strong fine-tuned baselines on arXiv and PubMed. However, our results also indicate that LLMs cannot consistently generate long summaries with more than 8 sentences. Furthermore, these models exhibit limited capacity to produce highly abstractive lay summaries. Although LLMs demonstrate strong generic summarization competency, sophisticated content control without costly fine-tuning remains an open problem for domain-specific applications.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)の科学的要約タスクにおける制御可能性について検討する。 論文レビュー,要約,レイ・サマリーなど,異なる種類の要約を特徴付ける重要なスタイリスティック・コンテンツカバレッジ要因を同定する。 構造的特徴を制御することにより,非微調整LDMは,参照要約と人間の嗜好の両方において,MuPレビュー生成タスクにおいて人間よりも優れることがわかった。 また,キーワードベースの分類器フリーガイダンス (CFG) を用いて, arXiv および PubMed 上での強い微調整ベースラインに匹敵する語彙オーバーラップを実現しつつ, LLM の制御性を向上させることができることを示す。 しかし,本研究の結果から,LLMは8文以上の長文の要約を連続的に生成できないことが示唆された。 さらに、これらのモデルは高度に抽象的なレイサマリーを生成する能力に限界がある。 LLMは強力な汎用的な要約能力を示すが、コストのかかる微調整のない高度なコンテンツ制御はドメイン固有のアプリケーションには未解決の問題である。

関連論文リスト

• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization [25.052557735932535]
  大規模言語モデル(LLM)は、自然言語処理における多様なタスクに革命をもたらす可能性を実証している。 本稿ではアスペクトベース要約タスクにおける微調整LDMの可能性について検討する。 我々は,Llama2,Mistral,Gemma,Ayaなどオープンソースファウンデーションの微調整が,パブリックドメイン固有のアスペクトベース要約データセットに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-08-05T16:00:21Z)
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models [59.970391602080205]
  本研究では,ジェネレーション空間の制約が推論やドメイン知識の理解など,LLMの能力に影響を及ぼすかどうかを検討する。 各種共通タスクにおける自由形式の応答を生成するよりも,構造化形式に順応することが制限された場合のLLMの性能を評価する。 より厳密なフォーマット制約は、一般的に推論タスクのパフォーマンス低下につながる。
  論文  参考訳（メタデータ） (2024-08-05T13:08:24Z)
• Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency [5.9858789096400224]
  大型言語モデル(LLM)は幻覚と呼ばれる現実的な矛盾の問題に悩まされる。 本稿では,スライディングウィンドウと自己整合性を利用した新しい要約生成戦略,すなわちSliSumを提案する。 SliSumは、LLaMA-2、Claude-2、GPT-3.5を含む多種多様なLLMの短文要約および長文要約における忠実性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-31T08:48:48Z)
• Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
  大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。 本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
  論文  参考訳（メタデータ） (2024-06-06T12:08:43Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。