論文の概要: LongLaMP: A Benchmark for Personalized Long-form Text Generation

• arxiv url: http://arxiv.org/abs/2407.11016v2
• Date: Tue, 15 Oct 2024 03:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:21:36.897369
• Title: LongLaMP: A Benchmark for Personalized Long-form Text Generation
• Title（参考訳）: LongLaMP: パーソナライズされた長文生成のためのベンチマーク
• Authors: Ishita Kumar, Snigdha Viswanathan, Sushrita Yerra, Alireza Salemi, Ryan A. Rossi, Franck Dernoncourt, Hanieh Deilamsalehy, Xiang Chen, Ruiyi Zhang, Shubham Agarwal, Nedim Lipka, Chein Van Nguyen, Thien Huu Nguyen, Hamed Zamani,
• Abstract要約: 長文言語モデルパーソナライゼーション(LongLaMP)ベンチマークを開発した。 LongLaMPはパーソナライズされた長文生成のための包括的で多様な評価フレームワークを提供する。 その結果、多種多様な長文生成タスクにおけるパーソナライズの重要性が浮き彫りになった。
• 参考スコア（独自算出の注目度）: 86.18720045128914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-text generation is seemingly ubiquitous in real-world applications of large language models such as generating an email or writing a review. Despite the fundamental importance and prevalence of long-text generation in many practical applications, existing work on personalized generation has focused on the generation of very short text. To overcome these limitations, we study the problem of personalized long-text generation, that is, generating long-text that is personalized for a specific user while being practically useful for the vast majority of real-world applications that naturally require the generation of longer text. In this work, we demonstrate the importance of user-specific personalization for long-text generation tasks and develop the Long-text Language Model Personalization (LongLaMP) Benchmark. LongLaMP provides a comprehensive and diverse evaluation framework for personalized long-text generation. Extensive experiments on LongLaMP for zero-shot and fine-tuned language tasks demonstrate the effectiveness of the proposed benchmark and its utility for developing and evaluating techniques for personalized long-text generation across a wide variety of long-text generation tasks. The results highlight the importance of personalization across a wide variety of long-text generation tasks. Finally, we release the benchmark for others to use for this important problem.
• Abstract（参考訳）: 長文生成は、電子メールの生成やレビューの執筆など、大規模な言語モデルの現実世界のアプリケーションで広く使われているように思われる。 多くの実用アプリケーションにおいて、長文生成の基本的な重要性と普及にもかかわらず、パーソナライズされた生成に関する既存の研究は、非常に短いテキストの生成に焦点を当てている。 これらの制約を克服するために、特定のユーザ向けにパーソナライズされた長文を生成すること、そして、自然に長文の生成を必要とする現実世界のアプリケーションの大部分に実用的に有用である、という、パーソナライズされた長文生成の問題について検討する。 本研究では,長文生成タスクにおけるユーザ固有のパーソナライズの重要性を明らかにし,Long-text Language Model Personalization (LongLaMP)ベンチマークを開発する。 LongLaMPはパーソナライズされた長文生成のための包括的で多様な評価フレームワークを提供する。 ゼロショットおよび微調整言語タスクに対するLongLaMPの広範な実験は、提案したベンチマークの有効性と、多種多様な長文生成タスクを対象としたパーソナライズされた長文生成技術の開発と評価に有用であることを示す。 その結果、多種多様な長文生成タスクにおけるパーソナライズの重要性が浮き彫りになった。 最後に、この重要な問題に他の人が使うためのベンチマークをリリースします。

関連論文リスト

• HelloBench: Evaluating Long Text Generation Capabilities of Large Language Models [89.28591263741973]
  長文生成における大規模言語モデルの性能を評価するために,階層長文生成ベンチマーク(HelloBench)を導入する。 HelloBenchはブルームの分類に基づいて、長いテキスト生成タスクをオープンエンドQA、要約、チャット、テキスト補完、テキスト生成の5つのサブタスクに分類する。 また,人的評価に要する時間と労力を大幅に削減する人的評価手法である階層的長文評価(HelloEval)を提案する。
  論文  参考訳（メタデータ） (2024-09-24T15:38:11Z)
• LongGenBench: Benchmarking Long-Form Generation in Long Context LLMs [4.4965596747053]
  ロングフォームテキスト生成は、設計提案やクリエイティブな文章作成といったアプリケーションには不可欠である。 新しいロングフォームテキスト評価ベンチマークであるLongGenBenchは、生成されたロングテキストシーケンス内の特定のイベントを識別するモデルの能力をテストする。
  論文  参考訳（メタデータ） (2024-09-03T17:25:54Z)
• Improving Citation Text Generation: Overcoming Limitations in Length Control [10.555859097367286]
  引用テキスト生成の鍵となる課題は、生成されたテキストの長さがターゲットの長さとしばしば異なり、生成の質が低下することである。 本研究では,科学的引用文の長さ予測の限界について詳細な研究を行い,所望の長さの推定値の利用について検討する。
  論文  参考訳（メタデータ） (2024-07-20T22:10:37Z)
• LongWanjuan: Towards Systematic Measurement for Long Text Quality [102.46517202896521]
  LongWanjuanは160B以上のトークンを持つ長文タスクのための言語モデルのトレーニングを強化するために特別に設計されたデータセットである。 LongWanjuanでは、長文を全体的、集約的、カオス的なタイプに分類し、長文品質の詳細な分析を可能にする。 我々は,LongWanjuan内で異なるタイプの長文を戦略的にバランスさせるデータ混合レシピを考案し,長文タスクにおけるモデル性能を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-21T07:27:18Z)
• A Survey on Retrieval-Augmented Text Generation [53.04991859796971]
  Retrieval-augmented text generationは顕著な利点があり、多くのNLPタスクで最先端のパフォーマンスを実現している。 まず、検索拡張生成の一般的なパラダイムを強調し、異なるタスクに応じて注目すべきアプローチをレビューする。
  論文  参考訳（メタデータ） (2022-02-02T16:18:41Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)
• LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation [49.57366550980932]
  ロングテキストモデリングは、長距離コモンセンスや談話関係のモデリングのような多くの機能を必要とする。 中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークであるLOTを提案する。 我々は、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国の長文事前学習モデルをリリースする。
  論文  参考訳（メタデータ） (2021-08-30T02:38:32Z)
• Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
  本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。 我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
  論文  参考訳（メタデータ） (2021-05-21T12:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。