論文の概要: Lüshi-1840: Building and Probing a Knowledge Cutoff for a Classical Chinese Language Model
- arxiv url: http://arxiv.org/abs/2610.16201v1
- Date: Mon, 12 Oct 2026 05:31:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 07:08:31.356216
- Title: Lüshi-1840: Building and Probing a Knowledge Cutoff for a Classical Chinese Language Model
- Title（参考訳）: Lüshi-1840:古典中国語モデルのための知識カットオフの構築と検証
- Abstract要約: 我々は1840年以前に編纂された12,262冊の本をスクラッチから訓練したモデル「Lshi-1840」を提示する。
最初のコーパスは共通のパイプラインで作られ、実際には1644年に終わり、20世紀の材料が含まれていた。
モデル側では、カットオフ後にコンパイルされたアンナールについて、現代の参照と比較して、副次的な測定を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models trained only on text from before a given year are useful for studying hindsight and historical language, but the open collections of pre-modern Chinese carry no publication dates and unreliable dynasty labels. We present Lüshi-1840, a 983M-parameter model trained from scratch on 12,262 books (1.28B characters) selected as composed before 1840. A first corpus, dated by a common heuristic, in effect ended at 1644 while containing twentieth-century material. We describe the re-dating and cleaning pipeline that replaced it and an audit with markers the pipeline did not use, which still finds later material. On the model side we measure surprisal, relative to a modern reference, on annals compiled after the cutoff. For events after 1840 against events up to 1820 the ratio is 1.38 (95% interval 1.33-1.44), against about 1.00 for modern general-purpose models. In a series of 294M models, adding the later court records lowers the ratio from 1.33 to 1.16, and the two models diverge from the 1820s, where the added records begin. The probe tracks the coverage of sources and does not establish a single cutoff year; none of our probes exposes the audited contamination. Model, book list and scripts will be released.
- Abstract（参考訳）: 特定の年より前のテキストでのみ訓練された言語モデルは、後見や歴史的言語を学ぶのに有用であるが、近代以前の中国語のオープンコレクションには、出版年月日や信頼性の低い王朝のラベルがない。
1840年以前に選抜された12,262冊(1.28B字)の本をスクラッチから訓練した983MパラメタモデルであるLüshi-1840を提示する。
最初のコーパスは共通のヒューリスティックで、実際には1644年に終わり、20世紀の資料が収められた。
置き換えたリディティングとクリーニングのパイプラインと、パイプラインが使用しなかったマーカーによる監査について説明する。
モデル側では、カットオフ後にコンパイルされたアンナールについて、現代の参照と比較して、副次的に測定する。
1840年以降の1820年までの出来事の比率は1.38(95%間隔1.33-1.44)であり、現代の汎用モデルでは1.00である。
一連の294Mモデルでは、後続の裁判所記録が1.33から1.16に減少し、2つのモデルが1820年代から分岐し、追加記録が始まっている。
調査はソースのカバレッジを追跡し、単一の遮断年を定めていない。
モデル、ブックリスト、スクリプトがリリースされる。
関連論文リスト
- Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch [0.0]
1800年から1918年にかけて出版されたポーランドの294,369の文書に、675億のトークン(約310億語)のコーパスであるWieszcz-XIXを記載する。
同時代の注釈付きコーパスより3桁以上大きい。
手作業で修正されたサンプルでは、文字エラー率は0.68%で、テキストの正しさは0.68%であり、サンプルパスの45%は修正できない。
論文 参考訳（メタデータ） (2026-10-06T18:35:26Z) - Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。
120のWebドキュメントに2,523のリードマークがある。
読者が読むものよりも確実に読者に同意するモデルはない。
論文 参考訳（メタデータ） (2026-07-31T10:44:10Z) - How Surprising Is Historical Italian to Language Models? Tokenization Tax, Comprehension Tax, and a Simple Mitigation [0.0]
大規模言語モデル(LLM)はデジタルライブラリにとってますます重要になっているが、歴史的言語を処理する能力はいまだによく分かっていない。
本稿では,この難易度をトークン化コスト,予測の不確実性(前提),意味的堅牢性,コンテキスト感受性の4つの異なる次元に分解する診断フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-25T16:52:21Z) - Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model [2.096023520617773]
我々は、純粋に古典中国語の56億のトークンをキュレートしたコーパスで、ゼロから言語モデルを訓練する。
モデルが未知の入力と区別できるかどうかを検討する。
内的不確実性と外的不確実性の間に明らかな解離が生じる。
論文 参考訳（メタデータ） (2026-03-31T07:37:15Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。
我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
論文 参考訳（メタデータ） (2023-10-30T08:31:47Z) - PHD: Pixel-Based Language Modeling of Historical Documents [55.75201940642297]
実史文書に類似した合成スキャンを生成する新しい手法を提案する。
我々は,1700-1900年代における合成スキャンと実際の歴史新聞を組み合わせて,我々のモデルであるPHDを事前訓練した。
我々は、この領域におけるその有用性を強調しながら、我々のモデルを歴史的QAタスクに適用することに成功しました。
論文 参考訳（メタデータ） (2023-10-22T08:45:48Z) - HUE: Pretrained Model and Dataset for Understanding Hanja Documents of
Ancient Korea [59.35609710776603]
我々は、時系列属性、トピック分類、名前付きエンティティ認識、要約検索タスクからなるハンハ理解評価データセットをリリースする。
また、本研究では、14世紀から19世紀にかけての2つの主要なコーパスについて、ヨセオン王朝のアンナスと王立事務局の日記のトレーニングを継続したBERTベースのモデルについても紹介する。
論文 参考訳（メタデータ） (2022-10-11T03:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。