論文の概要: Pretraining Language Models on Historical Text

• arxiv url: http://arxiv.org/abs/2606.02991v1
• Date: Tue, 02 Jun 2026 00:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.66473
• Title: Pretraining Language Models on Historical Text
• Title（参考訳）: 歴史的テキストによる言語モデルの事前学習
• Authors: Xiaoxi Luo, Zachary Shinnick, Niclas Griesshaber, Yixuan Wang, Junchi Yu, Freda Shi, Philip Torr, Yao Lu,
• Abstract要約: 我々は、1913年以前の英語テキストにのみ訓練された7.24B史言語モデル(LM)であるTypewriterLMを紹介した。 我々は,54Bの歴史的コーパスであるTypewriterCorpusを構築し,広範囲なデータクリーニングと漏洩対策を行った。 また,歴史的資料に直接的根拠を残さないように応答を制約するポストトレーニングフレームワークである,語彙的基盤のチューニングも導入する。
• 参考スコア（独自算出の注目度）: 36.643370581003055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce TypewriterLM, a 7.24B History language model (LM) trained exclusively on English text predating 1913. Developing History LMs requires addressing challenges in data quality and availability, preventing temporal leakage, designing temporally consistent post-training pipelines, and constructing reliable evaluations. To address these issues, we construct TypewriterCorpus, a 54B-token historical corpus collected from diverse archival and linguistically annotated sources with extensive data cleaning and leakage mitigation procedures. Furthermore, we introduce lexically grounded instructing tuning, a post-training framework that constraints responses to remain directly grounded in historical source documents. Using this framework we construct two historical instruction tuning datasets: History-LIMA and History-SelfInstruct. To evaluate capability and temporal consistency, we introduce History-Event, a benchmark suite for evaluating competence, temporal grounding and data leakage. We release TypewriterLM and all associated resources to support future research on historical language models.
• Abstract（参考訳）: 我々は、1913年以前の英語テキストにのみ訓練された7.24B史言語モデル(LM)であるTypewriterLMを紹介した。 History LMの開発には、データ品質と可用性の課題への対処、時間的リークの防止、時間的整合性のあるポストトレーニングパイプラインの設計、信頼性の高い評価の構築が必要だ。 これらの課題に対処するため,多種多様なアーカイブおよび言語的注釈付き情報源から収集した54Bの歴史的コーパスであるTypewriterCorpusを,広範囲なデータクリーニングと漏洩防止の手順で構築した。 さらに,歴史的資料に直接的根拠を残さないように応答を制限したポストトレーニングフレームワークである,語彙的基盤型インストラクション・チューニングを導入する。 このフレームワークを用いて、ヒストリー・LIMAとヒストリー・セルフ・インストラクトという2つのヒストリー・インストラクション・チューニング・データセットを構築する。 能力と時間的一貫性を評価するために,コンピテンシー,時間的グラウンド,データ漏洩を評価するベンチマークスイートであるHistory-Eventを紹介した。 我々はTypewriterLMと関連するすべてのリソースをリリースし、将来の歴史言語モデルの研究を支援します。

関連論文リスト

• Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models [66.75310318710073]
  textttHistoricalMisinfoは45ドル(約4,400円)の国から50ドル(約5,800円)のコンテストイベントを収集したデータセットです。 実世界の利用を近似するために、一般的な通信設定を反映したプロンプトシナリオを11ドルで、各イベントをインスタンス化する。
  論文  参考訳（メタデータ） (2026-02-19T15:05:10Z)
• Named Entity Recognition of Historical Text via Large Language Model [1.5469452301122175]
  名前付きエンティティ認識(NER)は、構造化されていないテキストから情報を抽出する上で重要な役割を果たす。 伝統的に、NERは大量の注釈付きトレーニングデータを必要とする教師付き機械学習アプローチを使用して対処される。 本研究では,NER に LLM を適用する可能性について,ゼロショットと少数ショットのプロンプト戦略を用いて検討した。 HIPE-2022データセットを用いて行った実験により, この環境下でのNERタスクにおいて, LLMは合理的に高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-08-25T14:52:11Z)
• LLM Agents for Interactive Exploration of Historical Cadastre Data: Framework and Application to Venice [2.03659124799413]
  カダストラルデータは、都市の歴史的組織に関する重要な情報を明らかにするが、多種多様なフォーマットや人間のアノテーションのために、しばしば標準化されていない。 我々は1740年から1808年までの臨界期におけるヴェネツィアの都市史を調査する。 この時代の複雑なカダストラルデータは、その体積と均一な構造が欠如していることが特徴であり、我々のアプローチが順応的にナビゲートする固有の課題を示している。
  論文  参考訳（メタデータ） (2025-05-22T08:45:15Z)
• Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning [103.65680870130839]
  本研究では,長期事前学習モデルの学習後段階の指導データを設計する方法について検討する。 制御された研究では、短い文脈で調整されたモデルが、より長いコンテキストに効果的に一般化できることが判明した。 これらの知見に基づいて,新しいデータ合成フレームワークであるコンテキスト合成を提案する。
  論文  参考訳（メタデータ） (2025-02-21T17:02:40Z)
• Building Foundations for Natural Language Processing of Historical Turkish: Resources and Models [0.0]
  本稿では,歴史的トルコ語の自然言語処理(NLP)の基礎資源とモデルを紹介する。 トルコ語の歴史形式として、最初の名前付きエンティティ認識(NER)データセットHisTRと、最初のUniversal DependenciesツリーバンクであるOTA-BOUNを提示する。 我々はまた、翻訳された歴史的トルコ語テキストのクリーンコーパスであるオスマンテキストコーパス(OTC)についても紹介する。
  論文  参考訳（メタデータ） (2025-01-08T20:29:00Z)
• hmBERT: Historical Multilingual Language Models for Named Entity Recognition [0.6226609932118123]
  我々は、人物、場所、組織を史料で特定するためにNERに取り組む。 本研究では, 歴史的ドイツ語, 英語, フランス語, スウェーデン語, フィンランド語について, 大規模な歴史的言語モデルを訓練することによってNERに取り組む。
  論文  参考訳（メタデータ） (2022-05-31T07:30:33Z)
• From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French [57.886210204774834]
  我々は、近世フランス語(歴史的フランス語:16$textth$から18$textth$ century)のためのNLPツールを開発する取り組みを提示する。 我々は、近世フランス語のtextFreEM_textmax$ corpusと、$textFreEM_textmax$でトレーニングされたRoBERTaベースの言語モデルであるD'AlemBERTを提示する。
  論文  参考訳（メタデータ） (2022-02-18T22:17:22Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。