論文の概要: Can Large Language Model Summarizers Adapt to Diverse Scientific
Communication Goals?
- arxiv url: http://arxiv.org/abs/2401.10415v1
- Date: Thu, 18 Jan 2024 23:00:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 17:19:53.876162
- Title: Can Large Language Model Summarizers Adapt to Diverse Scientific
Communication Goals?
- Title(参考訳): 大規模言語モデル要約器は科学的コミュニケーション目標に適応できるか?
- Authors: Marcio Fonseca, Shay B. Cohen
- Abstract要約: 科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。
MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
- 参考スコア(独自算出の注目度): 23.40876690980701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we investigate the controllability of large language models
(LLMs) on scientific summarization tasks. We identify key stylistic and content
coverage factors that characterize different types of summaries such as paper
reviews, abstracts, and lay summaries. By controlling stylistic features, we
find that non-fine-tuned LLMs outperform humans in the MuP review generation
task, both in terms of similarity to reference summaries and human preferences.
Also, we show that we can improve the controllability of LLMs with
keyword-based classifier-free guidance (CFG) while achieving lexical overlap
comparable to strong fine-tuned baselines on arXiv and PubMed. However, our
results also indicate that LLMs cannot consistently generate long summaries
with more than 8 sentences. Furthermore, these models exhibit limited capacity
to produce highly abstractive lay summaries. Although LLMs demonstrate strong
generic summarization competency, sophisticated content control without costly
fine-tuning remains an open problem for domain-specific applications.
- Abstract(参考訳): 本研究では,大規模言語モデル(LLM)の科学的要約タスクにおける制御可能性について検討する。
論文レビュー,要約,要約,要約など,さまざまな要約を特徴付ける重要なスタイル的およびコンテンツカバレッジ要因を明らかにする。
構造的特徴を制御することにより,非微調整LDMは,参照要約と人間の嗜好の両方において,MuPレビュー生成タスクにおいて人間よりも優れることがわかった。
また,キーワードベースの分類器フリーガイダンス (CFG) を用いて, arXiv および PubMed 上での強い微調整ベースラインに匹敵する語彙オーバーラップを実現しつつ, LLM の制御性を向上させることができることを示す。
しかし, この結果から, LLMは8文以上の長文を連続的に生成できないことが明らかとなった。
さらに、これらのモデルは非常に抽象的なレイサマリーを生成する能力に限界がある。
LLMは強力な汎用的な要約能力を示すが、コストのかかる微調整のない高度なコンテンツ制御はドメイン固有のアプリケーションには未解決の問題である。
関連論文リスト
- Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。
本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。
生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文 参考訳(メタデータ) (2024-03-14T08:18:59Z) - AbsInstruct: Eliciting Abstraction Ability from LLMs through Explanation
Tuning with Plausibility Estimation [62.41392852653183]
抽象化能力は人間の知性において不可欠であり、NLP研究における様々なタスクにも有用である。
既存の研究によると、LLMは抽象能力に欠けており、その改善方法はまだ解明されていない。
本稿では,命令チューニングによるLLMの抽象化能力を向上するフレームワークAbsInstructを設計する。
論文 参考訳(メタデータ) (2024-02-16T12:47:11Z) - Benchmarking Generation and Evaluation Capabilities of Large Language
Models for Instruction Controllable Summarization [136.18825814573208]
命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。
本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
論文 参考訳(メタデータ) (2023-11-15T18:25:26Z) - An Interdisciplinary Outlook on Large Language Models for Scientific
Research [3.4108358650013573]
本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。
本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。
LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
論文 参考訳(メタデータ) (2023-11-03T19:41:09Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - Controllable Multi-document Summarization: Coverage & Coherence
Intuitive Policy with Large Language Model Based Rewards [42.171703872560286]
可制御性(英: controllability)とは、複数文書の要約などの長い入力を持つテキスト生成タスクにおいて問題となる問題である。
LLMによって洗練されるテキストを抽出するために、制御可能なコンテンツ抽出スキームを訓練する。
提案手法は,ROUGE測定値を用いた評価において競争結果が得られ,コヒーレンスにおける潜在的なベースラインよりも優れる。
論文 参考訳(メタデータ) (2023-10-05T11:29:09Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳(メタデータ) (2023-09-18T08:13:01Z) - LLMs Understand Glass-Box Models, Discover Surprises, and Suggest
Repairs [10.222281712562705]
大規模言語モデル(LLM)は解釈可能なモデルを扱うのに非常に優れていることを示す。
推論に階層的なアプローチを採用することで、LLMは包括的なモデルレベルの要約を提供することができる。
パッケージ $textttTalkToEBM$ をオープンソース LLM-GAM インターフェースとして提示する。
論文 参考訳(メタデータ) (2023-08-02T13:59:35Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。