論文の概要: LSTM-Based Text Generation: A Study on Historical Datasets

• arxiv url: http://arxiv.org/abs/2403.07087v1
• Date: Mon, 11 Mar 2024 18:25:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 23:52:29.590604
• Title: LSTM-Based Text Generation: A Study on Historical Datasets
• Title（参考訳）: LSTMに基づくテキスト生成:歴史的データセットに関する研究
• Authors: Mustafa Abbas Hussein Hussein, Serkan Sava\c{s}
• Abstract要約: この研究は、LSTMベースのモデルが歴史的データセットに基づいて訓練されると、言語的に豊かで文脈的に関係のあるテキストを生成できることを示した。 シェイクスピア作品からテキストを予測する際のモデルの精度は0.9125であり、誤り率の低いことを示している。 モデルのトレーニング時間は100で、Nietzscheデータセットの効率を反映している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an exploration of Long Short-Term Memory (LSTM) networks in the realm of text generation, focusing on the utilization of historical datasets for Shakespeare and Nietzsche. LSTMs, known for their effectiveness in handling sequential data, are applied here to model complex language patterns and structures inherent in historical texts. The study demonstrates that LSTM-based models, when trained on historical datasets, can not only generate text that is linguistically rich and contextually relevant but also provide insights into the evolution of language patterns over time. The finding presents models that are highly accurate and efficient in predicting text from works of Nietzsche, with low loss values and a training time of 100 iterations. The accuracy of the model is 0.9521, indicating high accuracy. The loss of the model is 0.2518, indicating its effectiveness. The accuracy of the model in predicting text from the work of Shakespeare is 0.9125, indicating a low error rate. The training time of the model is 100, mirroring the efficiency of the Nietzsche dataset. This efficiency demonstrates the effectiveness of the model design and training methodology, especially when handling complex literary texts. This research contributes to the field of natural language processing by showcasing the versatility of LSTM networks in text generation and offering a pathway for future explorations in historical linguistics and beyond.
• Abstract（参考訳）: 本稿では,シェークスピアとニーチェの歴史的データセットの利用に着目し,テキスト生成領域におけるLong Short-Term Memory(LSTM)ネットワークの探索を行う。 LSTMはシーケンシャルデータ処理の有効性で知られており、歴史的テキストに固有の複雑な言語パターンや構造をモデル化するために用いられる。 この研究は、LSTMベースのモデルが歴史的データセットに基づいて訓練されると、言語的にリッチで文脈的に関係のあるテキストを生成するだけでなく、時間とともに言語パターンの進化に関する洞察を与えることができることを示した。 この発見は、低損失値と100イテレーションのトレーニング時間を持つニーチェの作品からテキストを予測するのに非常に正確で効率的なモデルを示す。 モデルの精度は0.9521であり、高い精度を示している。 このモデルの損失は 0.2518 であり、その効果を示している。 シェイクスピアの作品からテキストを予測するモデルの精度は0.9125であり、エラー率が低いことを示している。 モデルのトレーニング時間は100であり、ニーチェデータセットの効率を反映している。 この効率性は、特に複雑な文学テキストを扱う場合、モデル設計および訓練手法の有効性を示す。 本研究は,テキスト生成におけるLSTMネットワークの汎用性を示し,歴史言語学などにおける今後の探索の道筋を示すことによって,自然言語処理の分野に貢献する。

関連論文リスト

• Scaling Parameter-Constrained Language Models with Quality Data [32.35610029333478]
  言語モデリングにおける法則のスケーリングは、伝統的にデータセットのサイズとモデルパラメータの関数としてトレーニング損失を定量化する。 我々は,従来のスケーリング法則の理解を,元の定式化におけるデータ品質の微視的なビューを提供することによって拡張する。
  論文  参考訳（メタデータ） (2024-10-04T02:07:17Z)
• From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding [7.5348062792]
  本稿では,共起変数をテキストで表現する場合のメタラーナーの性能について検討する。 共同創設者の事前学習したテキスト表現を用いた学習者は,CATE推定精度の向上を図っている。 テキスト埋め込みの絡み合った性質のため、これらのモデルは、完全な共同創設者の知識を持つメタ学習者のパフォーマンスと完全には一致しない。
  論文  参考訳（メタデータ） (2024-09-23T19:46:19Z)
• Text Quality-Based Pruning for Efficient Training of Language Models [66.66259229732121]
  本研究では,大容量NLPデータセットのテキスト品質を数値評価する手法を提案する。 テキスト品質指標を提案することにより、低品質テキストインスタンスを識別・排除する枠組みを確立する。 複数のモデルやデータセットに対する実験結果から,このアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2024-04-26T18:01:25Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• Efficient data selection employing Semantic Similarity-based Graph Structures for model training [1.5845679507219355]
  本稿では,SeSaME(Semantics for Data SAliency in Model Performance Estimation)を紹介する。 これはテキスト情報のみに基づく効率的なデータサンプリング機構であり、計算量の多いモデルにデータを渡すことなく利用できる。 このアプローチの適用例は、低リソース自動音声認識(ASR)モデルの使用例で示される。
  論文  参考訳（メタデータ） (2024-02-22T09:43:53Z)
• Beyond MLE: Convex Learning for Text Generation [34.99340118597274]
  我々は、機械翻訳のようなクローズドエンドテキスト生成タスクにおいて、最大推定(MLE)が必ずしも必要であり、最適であるとは限らないと論じる。 本研究では,データ分布全体を推定することなく,テキスト生成モデルを高い確率出力に集中させることができる,凸関数に基づく新たな学習目標のクラスを提案する。
  論文  参考訳（メタデータ） (2023-10-26T08:08:43Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。