論文の概要: PersonalSum: A User-Subjective Guided Personalized Summarization Dataset for Large Language Models
- arxiv url: http://arxiv.org/abs/2410.03905v1
- Date: Fri, 4 Oct 2024 20:12:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 15:31:01.552181
- Title: PersonalSum: A User-Subjective Guided Personalized Summarization Dataset for Large Language Models
- Title（参考訳）: PersonalSum: 大規模言語モデルのためのユーザ目的のパーソナライズ・サマリゼーションデータセット
- Authors: Lemei Zhang, Peng Liu, Marcus Tiedemann Oekland Henriksboe, Even W. Lauvrak, Jon Atle Gulla, Heri Ramampiaro,
- Abstract要約: 我々はPersonalSumと呼ばれる高品質でパーソナライズされた手作業による要約データセットを提案する。
このデータセットは、公開読者の焦点が、大規模言語モデルによって生成された一般的な要約と異なるかどうかを調査する最初のものである。
- 参考スコア（独自算出の注目度）: 3.516029765200171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid advancement of Natural Language Processing in recent years, numerous studies have shown that generic summaries generated by Large Language Models (LLMs) can sometimes surpass those annotated by experts, such as journalists, according to human evaluations. However, there is limited research on whether these generic summaries meet the individual needs of ordinary people. The biggest obstacle is the lack of human-annotated datasets from the general public. Existing work on personalized summarization often relies on pseudo datasets created from generic summarization datasets or controllable tasks that focus on specific named entities or other aspects, such as the length and specificity of generated summaries, collected from hypothetical tasks without the annotators' initiative. To bridge this gap, we propose a high-quality, personalized, manually annotated abstractive summarization dataset called PersonalSum. This dataset is the first to investigate whether the focus of public readers differs from the generic summaries generated by LLMs. It includes user profiles, personalized summaries accompanied by source sentences from given articles, and machine-generated generic summaries along with their sources. We investigate several personal signals - entities/topics, plot, and structure of articles - that may affect the generation of personalized summaries using LLMs in a few-shot in-context learning scenario. Our preliminary results and analysis indicate that entities/topics are merely one of the key factors that impact the diverse preferences of users, and personalized summarization remains a significant challenge for existing LLMs.
- Abstract（参考訳）: 近年の自然言語処理の急速な進歩により、大規模言語モデル(LLM)が生み出す一般的な要約が、ジャーナリストなどの専門家の注釈を上回ることがあることが、人間による評価によって示されている。
しかし、これらの一般的な要約が一般人の個人のニーズに合致するかどうかについては、限定的な研究がなされている。
最大の障害は、一般大衆からの人間による注釈付きデータセットの欠如である。
パーソナライズされた要約に関する既存の研究は、しばしば、一般的な要約データセットから生成された疑似データセットや、特定の名前のエンティティや、アノテータのイニシアチブのない仮説的なタスクから収集された生成された要約の長さと特異性など、他の側面に焦点を当てた制御可能なタスクに依存している。
このギャップを埋めるために、PersonalSumと呼ばれる高品質でパーソナライズされた手作業による要約データセットを提案する。
このデータセットは、LLMが生成した一般的な要約とパブリック読者の焦点が異なっているかどうかを調査する最初のものである。
これには、ユーザープロファイル、与えられた記事のソース文を伴うパーソナライズされた要約、およびソースと共にマシン生成されたジェネリック要約が含まれる。
LLMを用いたパーソナライズド・サマリーの生成に影響を及ぼすいくつかの個人的信号(エンティティ、トピック、プロット、記事の構造)を、数ショットのインコンテキスト学習シナリオで検討する。
我々の予備的な結果と分析は、エンティティ/トピックがユーザの多様な嗜好に影響を与える重要な要因の1つであり、パーソナライズされた要約は、既存のLCMにとって重要な課題であることを示している。
関連論文リスト
- Personalization of Large Language Models: A Survey [131.00650432814268]
大規模言語モデル(LLM)のパーソナライゼーションは、最近、広範囲のアプリケーションでますます重要になっている。
パーソナライズ LLM に関する既存の研究の多くは、(a)パーソナライズされたテキスト生成、または(b)レコメンデーションシステムのようなパーソナライズに関連する下流アプリケーションに LLM を活用することに集中している。
パーソナライズされたLSM使用のための分類を導入し、主要な違いと課題を要約する。
論文 参考訳（メタデータ） (2024-10-29T04:01:11Z) - Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。
我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
論文 参考訳（メタデータ） (2024-10-17T08:10:24Z) - Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。
Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
論文 参考訳（メタデータ） (2024-07-05T20:25:04Z) - Step-Back Profiling: Distilling User History for Personalized Scientific Writing [50.481041470669766]
大きな言語モデル(LLM)は、さまざまな自然言語処理タスクに優れていますが、個人向けにパーソナライズされたコンテンツを生成するのに苦労しています。
ユーザ履歴を簡潔なプロファイルに抽出することで,LSMをパーソナライズするためのSTEP-BACK ProFIlingを導入する。
本手法は,一般パーソナライゼーションベンチマークにおいて,ベースラインを最大3.6ポイント向上させる。
論文 参考訳（メタデータ） (2024-06-20T12:58:26Z) - ACLSum: A New Dataset for Aspect-based Summarization of Scientific
Publications [10.529898520273063]
ACLSumは、ドメインの専門家によって慎重に作成され、評価される新しい要約データセットである。
以前のデータセットとは対照的に、ACLSumは科学論文のマルチアスペクト要約を容易にする。
論文 参考訳（メタデータ） (2024-03-08T13:32:01Z) - GUMsley: Evaluating Entity Salience in Summarization for 12 English
Genres [14.37990666928991]
GUMsleyは、12のジャンルの英語テキストに対して、名前付きおよび名前なしの敬意的エンティティを全てカバーする最初のエンティティ・サリエンス・データセットである。
いくつかのモデルアーキテクチャに対して健全なエンティティを予測または提供することにより、パフォーマンスが向上し、高品質なサマリーの導出に役立つことを示す。
論文 参考訳（メタデータ） (2024-01-31T16:30:50Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳（メタデータ） (2023-09-18T08:13:01Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳（メタデータ） (2023-03-29T17:03:21Z) - Low-resource Personal Attribute Prediction from Conversation [20.873276038560057]
会話から個人属性を予測するための新しいフレームワークPEARLを提案する。
PEARLは、更新された先行属性知識を用いて、両項意味情報と単語共起情報とをシームレスに結合する。
論文 参考訳（メタデータ） (2022-11-28T14:04:51Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳（メタデータ） (2021-05-31T21:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。