論文の概要: Pretraining Language Models on Historical Text

• arxiv url: http://arxiv.org/abs/2606.02991v1
• Date: Tue, 02 Jun 2026 00:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.66473
• Title: Pretraining Language Models on Historical Text
• Title（参考訳）: 歴史的テキストによる言語モデルの事前学習
• Abstract要約: 我々は、1913年以前の英語テキストにのみ訓練された7.24B史言語モデル(LM)であるTypewriterLMを紹介した。 我々は,54Bの歴史的コーパスであるTypewriterCorpusを構築し,広範囲なデータクリーニングと漏洩対策を行った。 また,歴史的資料に直接的根拠を残さないように応答を制約するポストトレーニングフレームワークである,語彙的基盤のチューニングも導入する。
• 参考スコア（独自算出の注目度）: 36.643370581003055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce TypewriterLM, a 7.24B History language model (LM) trained exclusively on English text predating 1913. Developing History LMs requires addressing challenges in data quality and availability, preventing temporal leakage, designing temporally consistent post-training pipelines, and constructing reliable evaluations. To address these issues, we construct TypewriterCorpus, a 54B-token historical corpus collected from diverse archival and linguistically annotated sources with extensive data cleaning and leakage mitigation procedures. Furthermore, we introduce lexically grounded instructing tuning, a post-training framework that constraints responses to remain directly grounded in historical source documents. Using this framework we construct two historical instruction tuning datasets: History-LIMA and History-SelfInstruct. To evaluate capability and temporal consistency, we introduce History-Event, a benchmark suite for evaluating competence, temporal grounding and data leakage. We release TypewriterLM and all associated resources to support future research on historical language models.
• Abstract（参考訳）: 我々は、1913年以前の英語テキストにのみ訓練された7.24B史言語モデル(LM)であるTypewriterLMを紹介した。 History LMの開発には、データ品質と可用性の課題への対処、時間的リークの防止、時間的整合性のあるポストトレーニングパイプラインの設計、信頼性の高い評価の構築が必要だ。 これらの課題に対処するため,多種多様なアーカイブおよび言語的注釈付き情報源から収集した54Bの歴史的コーパスであるTypewriterCorpusを,広範囲なデータクリーニングと漏洩防止の手順で構築した。 さらに,歴史的資料に直接的根拠を残さないように応答を制限したポストトレーニングフレームワークである,語彙的基盤型インストラクション・チューニングを導入する。 このフレームワークを用いて、ヒストリー・LIMAとヒストリー・セルフ・インストラクトという2つのヒストリー・インストラクション・チューニング・データセットを構築する。 能力と時間的一貫性を評価するために,コンピテンシー,時間的グラウンド,データ漏洩を評価するベンチマークスイートであるHistory-Eventを紹介した。 我々はTypewriterLMと関連するすべてのリソースをリリースし、将来の歴史言語モデルの研究を支援します。

関連論文リスト

• Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models [1.0026496861838445]
  検索強化世代(RAG)を用いた大規模言語モデルを活用した歴史文書復元のための新しい枠組みを提案する。 我々の手法はベースラインを著しく上回り、一般的な文字と名前のエンティティの両方を復元する上で大きな成果を上げている。 専門家評価を含む総合評価では、ARIがドメイン専門家の実践的なツールとして機能し、歴史的記録の分析を加速することを約束している。
  論文  参考訳（メタデータ） (2026-07-24T03:11:25Z)
• Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models [66.75310318710073]
  textttHistoricalMisinfoは45ドル(約4,400円)の国から50ドル(約5,800円)のコンテストイベントを収集したデータセットです。 実世界の利用を近似するために、一般的な通信設定を反映したプロンプトシナリオを11ドルで、各イベントをインスタンス化する。
  論文  参考訳（メタデータ） (2026-02-19T15:05:10Z)
• Named Entity Recognition of Historical Text via Large Language Model [1.5469452301122175]
  名前付きエンティティ認識(NER)は、構造化されていないテキストから情報を抽出する上で重要な役割を果たす。 伝統的に、NERは大量の注釈付きトレーニングデータを必要とする教師付き機械学習アプローチを使用して対処される。 本研究では,NER に LLM を適用する可能性について,ゼロショットと少数ショットのプロンプト戦略を用いて検討した。 HIPE-2022データセットを用いて行った実験により, この環境下でのNERタスクにおいて, LLMは合理的に高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-08-25T14:52:11Z)
• LLM Agents for Interactive Exploration of Historical Cadastre Data: Framework and Application to Venice [2.03659124799413]
  カダストラルデータは、都市の歴史的組織に関する重要な情報を明らかにするが、多種多様なフォーマットや人間のアノテーションのために、しばしば標準化されていない。 我々は1740年から1808年までの臨界期におけるヴェネツィアの都市史を調査する。 この時代の複雑なカダストラルデータは、その体積と均一な構造が欠如していることが特徴であり、我々のアプローチが順応的にナビゲートする固有の課題を示している。
  論文  参考訳（メタデータ） (2025-05-22T08:45:15Z)
• Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning [103.65680870130839]
  本研究では,長期事前学習モデルの学習後段階の指導データを設計する方法について検討する。 制御された研究では、短い文脈で調整されたモデルが、より長いコンテキストに効果的に一般化できることが判明した。 これらの知見に基づいて,新しいデータ合成フレームワークであるコンテキスト合成を提案する。
  論文  参考訳（メタデータ） (2025-02-21T17:02:40Z)
• Building Foundations for Natural Language Processing of Historical Turkish: Resources and Models [0.0]
  本稿では,歴史的トルコ語の自然言語処理(NLP)の基礎資源とモデルを紹介する。 トルコ語の歴史形式として、最初の名前付きエンティティ認識(NER)データセットHisTRと、最初のUniversal DependenciesツリーバンクであるOTA-BOUNを提示する。 我々はまた、翻訳された歴史的トルコ語テキストのクリーンコーパスであるオスマンテキストコーパス(OTC)についても紹介する。
  論文  参考訳（メタデータ） (2025-01-08T20:29:00Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• History-Aware Hierarchical Transformer for Multi-session Open-domain Dialogue System [59.78425104243993]
  マルチセッションオープンドメイン対話のための履歴認識階層変換器(HAHT)を提案する。 HAHTは歴史会話の長期記憶を維持し、歴史情報を利用して現在の会話状況を理解する。 大規模マルチセッション会話データセットの実験結果は,提案したHAHTモデルがベースラインモデルより一貫して優れていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-02T06:54:33Z)
• hmBERT: Historical Multilingual Language Models for Named Entity Recognition [0.6226609932118123]
  我々は、人物、場所、組織を史料で特定するためにNERに取り組む。 本研究では, 歴史的ドイツ語, 英語, フランス語, スウェーデン語, フィンランド語について, 大規模な歴史的言語モデルを訓練することによってNERに取り組む。
  論文  参考訳（メタデータ） (2022-05-31T07:30:33Z)
• From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French [57.886210204774834]
  我々は、近世フランス語(歴史的フランス語:16$textth$から18$textth$ century)のためのNLPツールを開発する取り組みを提示する。 我々は、近世フランス語のtextFreEM_textmax$ corpusと、$textFreEM_textmax$でトレーニングされたRoBERTaベースの言語モデルであるD'AlemBERTを提示する。
  論文  参考訳（メタデータ） (2022-02-18T22:17:22Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。