論文の概要: LongStory: Coherent, Complete and Length Controlled Long story Generation

• arxiv url: http://arxiv.org/abs/2311.15208v1
• Date: Sun, 26 Nov 2023 06:24:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 19:02:03.530550
• Title: LongStory: Coherent, Complete and Length Controlled Long story Generation
• Title（参考訳）: ロングストーリー:コヒーレント、完全、そしてロングストーリーの生成を制御する
• Authors: Kyeongman Park, Nakyeong Yang, Kyomin Jung
• Abstract要約: 本稿では,コヒーレント,完全,長大なストーリー生成のためのLongStoryを提案する。 LongStoryは,(1)長期・短期の重み調整器(CWC)と(2)長期ストーリー構造位置(LSP)の2つの新しい手法を導入した。
• 参考スコア（独自算出の注目度）: 18.886499970698285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A human author can write any length of story without losing coherence. Also, they always bring the story to a proper ending, an ability that current language models lack. In this work, we present the LongStory for coherent, complete, and length-controlled long story generation. LongStory introduces two novel methodologies: (1) the long and short-term contexts weight calibrator (CWC) and (2) long story structural positions (LSP). The CWC adjusts weights for long-term context Memory and short-term context Cheating, acknowledging their distinct roles. The LSP employs discourse tokens to convey the structural positions of a long story. Trained on three datasets with varied average story lengths, LongStory outperforms other baselines, including the strong story generator Plotmachine, in coherence, completeness, relevance, and repetitiveness. We also perform zero-shot tests on each dataset to assess the model's ability to predict outcomes beyond its training data and validate our methodology by comparing its performance with variants of our model.
• Abstract（参考訳）: 人間の作者は、コヒーレンスを失うことなく、どんなストーリーでも書ける。 また、彼らは常に適切な結末、現在の言語モデルに欠けている能力に物語をもたらします。 本稿では,コヒーレントで完全かつ長さ制御の長いストーリー生成のためのLongStoryを提案する。 LongStoryは,(1)長期・短期の重み調整器(CWC)と(2)長期ストーリー構造位置(LSP)の2つの新しい手法を導入した。 cwcは長期的文脈記憶と短期的文脈の不正行為の重み付けを調整し、それぞれの役割を認めている。 LSPは長い物語の構造的位置を伝えるために談話トークンを使用している。 平均ストーリーの長さの異なる3つのデータセットでトレーニングされたlongstoryは、強力なストーリージェネレータプロットマシン、一貫性、完全性、関連性、反復性を含む他のベースラインよりも優れている。 また、各データセット上でゼロショットテストを実施し、トレーニングデータを超えた結果を予測するモデルの能力を評価し、そのパフォーマンスとモデルの変種を比較して方法論を検証する。

関連論文リスト

• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 ProLong-8BはLlama-3のもので、40Bトークンで訓練されている。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Long Context is Not Long at All: A Prospector of Long-Dependency Data for Large Language Models [13.091271774417867]
  長期コンテキストモデリング機能は、様々なアプリケーションにおいて大きな言語モデル(LLM)にとって重要である。 データマイニングフレームワーク textbfProLong を提案する。 複数のベンチマークに関する総合的な実験は、ProLongが長い依存関係を持つドキュメントを効果的に識別していることを示している。
  論文  参考訳（メタデータ） (2024-05-28T07:36:56Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)
• Improving Pacing in Long-Form Story Planning [55.39443681232538]
  ストーリーアウトラインを自動的に生成する際のペアリングを改善するためのConCrete Outline ConTrolシステムを提案する。 まず,2つの事象のどちらがより具体的であるかを判断するために,具体性評価器を訓練する。 本研究では,一様ペーシングを目的とした,あいまいな第1展開手順について検討する。
  論文  参考訳（メタデータ） (2023-11-08T04:58:29Z)
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
  LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。 英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
  論文  参考訳（メタデータ） (2023-08-28T11:53:40Z)
• Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.62224414485055]
  我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
  論文  参考訳（メタデータ） (2022-09-21T00:41:07Z)
• LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation [49.57366550980932]
  ロングテキストモデリングは、長距離コモンセンスや談話関係のモデリングのような多くの機能を必要とする。 中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークであるLOTを提案する。 我々は、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国の長文事前学習モデルをリリースする。
  論文  参考訳（メタデータ） (2021-08-30T02:38:32Z)
• Consistency and Coherency Enhanced Story Generation [35.08911595854691]
  生成したストーリーの一貫性と一貫性を高めるための2段階生成フレームワークを提案する。 第1段は物語の筋書きや出来事を描いた物語の輪郭を整理し、第2段は完全な物語へと輪郭を広げることである。 さらに、コア参照監視信号は、コア参照エラーを低減し、コア参照一貫性を向上させるために組み込まれている。
  論文  参考訳（メタデータ） (2020-10-17T16:40:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。