論文の概要: NarrativeXL: A Large-scale Dataset For Long-Term Memory Models

• arxiv url: http://arxiv.org/abs/2305.13877v2
• Date: Fri, 8 Dec 2023 01:45:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 19:02:56.764297
• Title: NarrativeXL: A Large-scale Dataset For Long-Term Memory Models
• Title（参考訳）: NarrativeXL: 長期記憶モデルのための大規模データセット
• Authors: Arseny Moskvichev and Ky-Vinh Mai
• Abstract要約: GPT 3.5を用いて,プロジェクト・グーテンベルクから1500冊の手書き小説を要約した。 990,595の質問で、我々のデータセットは最も近い選択肢よりも桁違いに大きい。 ほとんどの質問は'保持要求'を知っていて、それらに答えるためにメモリの長期的要求がどれくらい必要かを示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a new large-scale (nearly a million questions) ultra-long-context (more than 50,000 words average document length) reading comprehension dataset. Using GPT 3.5, we summarized each scene in 1,500 hand-curated fiction books from Project Gutenberg, which resulted in approximately 150 scene-level summaries per book. After that, we created a number of reading comprehension questions based on these summaries, including three types of multiple-choice scene recognition questions, as well as free-form narrative reconstruction questions. With 990,595 total questions, our dataset is an order of magnitude larger than the closest alternatives. Crucially, most questions have a known ``retention demand'', indicating how long-term of a memory is needed to answer them, which should aid long-term memory performance evaluation. We validate our data in four small-scale experiments: one with human labelers, and three with existing language models. We show that our questions 1) adequately represent the source material 2) can be used to diagnose a model's memory capacity 3) are not trivial for modern language models even when the memory demand does not exceed those models' context lengths. Lastly, we provide our code which can be used to further expand the dataset with minimal human labor.
• Abstract（参考訳）: 我々は,理解データセットを読み取る大規模(約100万問)の超長文(平均文書長5万語以上)を提案する。 GPT 3.5を用いて,プロジェクト・グーテンベルクから1500冊の手作業によるフィクションを要約し,約150巻のシーンレベルの要約を行った。 その後,3種類の複数場面認識質問や,自由形式の物語再構築質問など,これらの要約に基づく読解質問を多数作成した。 990,595の質問で、我々のデータセットは最も近い選択肢よりも桁違いに大きい。 重要な点として、ほとんどの質問は ''retention demand'' として知られており、メモリの長期的パフォーマンス評価にどれだけの回答が必要かを示している。 我々は、人間のラベルを付けた実験と、既存の言語モデルを使った実験の4つの小さな実験でデータを検証した。 私たちは質問に答える 1)原材料を適切に表現する 2)モデルのメモリ容量の診断に使用することができる。 3) メモリ需要がそれらのモデルのコンテキスト長を超えない場合でも、現代の言語モデルにとって自明ではない。 最後に、最小限の人的労力でデータセットをさらに拡張するために使用できるコードを提供します。

関連論文リスト

• NewsQs: Multi-Source Question Generation for the Inquiring Mind [59.79288644158271]
  我々は複数のニュース文書に対して質問応答ペアを提供するデータセットであるNewsQsを紹介する。 FAQスタイルのニュース記事に微調整されたT5-Largeモデルによって自動生成される質問を,従来のマルチドキュメント要約データセットに拡張する。
  論文  参考訳（メタデータ） (2024-02-28T16:59:35Z)
• BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models [141.21603469555225]
  大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。 マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。 5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
  論文  参考訳（メタデータ） (2023-09-23T11:36:15Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Large Language Models Struggle to Learn Long-Tail Knowledge [39.01608375863687]
  本研究では,大規模言語モデルが記憶する知識と,Webから抽出した事前学習データセットの情報との関係について検討する。 特に、事実に基づく質問に答える言語モデルの能力は、事前学習中にその質問に関連する文書がいくつ見られたかに関係していることを示す。
  論文  参考訳（メタデータ） (2022-11-15T18:49:27Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• QuALITY: Question Answering with Long Input Texts, Yes! [27.700792723226524]
  平均トークン長が約5,000である英語のコンテキストパスを持つデータセットQuALITYを紹介した。 パスに関する以前の作業とは異なり、私たちの質問は、パス全体を読んだコントリビュータによって書かれ、検証されます。 厳密な時間制約の下で作業しているアノテータによって答えられる質問はたった半数だ。
  論文  参考訳（メタデータ） (2021-12-16T04:14:38Z)
• ListReader: Extracting List-form Answers for Opinion Questions [18.50111430378249]
  ListReaderは、リスト形式の回答のためのニューラルネットワーク抽出QAモデルである。 質問と内容のアライメントの学習に加えて,異種グラフニューラルネットワークを導入する。 提案モデルでは,スパンレベルと文レベルのいずれの回答も抽出可能な抽出設定を採用する。
  論文  参考訳（メタデータ） (2021-10-22T10:33:08Z)
• ReadTwice: Reading Very Large Documents with Memories [19.45538971299312]
  本稿では,従来手法の長範囲依存をトランスフォーマーでモデル化する手法であるReadTwiceを提案する。 主なアイデアは、テキストを小さなセグメントで並列に読み、各セグメントを1つのメモリテーブルに要約して、テキストの2番目の読み出しに使用することである。 この手法は、いくつかの質問応答(QA)データセットで匹敵するサイズのモデルよりも優れていることを示し、挑戦的なNarrativeQAタスクで新しい状態を設定します。
  論文  参考訳（メタデータ） (2021-05-10T10:13:09Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。