論文の概要: Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
- arxiv url: http://arxiv.org/abs/2610.10592v1
- Date: Tue, 06 Oct 2026 18:35:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.559083
- Title: Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
- Title（参考訳）: Wieszcz-XIX: Scratchからトレーニングされたポーランド語と一時境界言語モデルの3.1ビリオンワードコーパス
- Abstract要約: 1800年から1918年にかけて出版されたポーランドの294,369の文書に、675億のトークン(約310億語)のコーパスであるWieszcz-XIXを記載する。
同時代の注釈付きコーパスより3桁以上大きい。
手作業で修正されたサンプルでは、文字エラー率は0.68%で、テキストの正しさは0.68%であり、サンプルパスの45%は修正できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Historical Polish is well documented as a language but annotated in machine-readable form only to about a million words for the period this paper covers; the rest sits behind optical character recognition of variable quality. We present Wieszcz-XIX, a corpus of 6.75 billion tokens (about 3.1 billion words) in 294,369 documents, most of them periodical issues, of Polish published from 1800 to 1918, assembled from Wolne Lektury and the Internet Archive by a pipeline that filters, deduplicates, audits for post-1918 leakage and splits at the document level. It is over three orders of magnitude larger than the annotated corpus of the same period, and we quantify its defects: recognition corruption against a false-positive floor, near-identical duplication, which is removed, and post-1918 leakage, which is excluded from the training corpus itself down to a known residue of 0.04 to 0.38% of its bytes, found in the transcribed source, so the published corpus is the trained one document for document. On a hand-corrected sample the character error rate is 0.68% where the text is legible, and 45% of the sampled passages cannot be corrected. On it we train a ladder of decoder-only models from 47M to 349M parameters from scratch, and measure their temporal boundedness. Against two modern Polish base models, one far larger, the 349M shows a crossover, as does the 107M against the comparator of its size: post-1918 vocabulary costs them about 3.1 bits per byte more than period vocabulary, a gap the comparators do not show, and period vocabulary costs them fewer bits than it costs the comparators. Shown period text, the models keep its spelling and the comparators only partly. Adding parameters gains about twice as much as a second pass over the data. We release the corpus, code and weights. Content warning: the models reproduce period prejudice, including antisemitic statements.
- Abstract（参考訳）: 歴史的ポーランド語は、言語として十分に文書化されているが、機械可読形式で注釈付けされているのは、この論文がカバーする期間に約100万語に過ぎず、残りは可変品質の光学的文字認識の背後にある。
Weeszcz-XIX, acorpus of 6.75億トークン(約310億ワード)の294,369の文書、そのほとんどは1800年から1918年にかけてポーランドで発行された定期的な問題であり、Wolne Lektury と Internet Archive から収集されたパイプラインによって、1918年以降の漏洩をフィルタリングし、分解し、監査し、文書レベルで分割するものである。
同時代の注釈付きコーパスよりも3桁以上大きく、我々はその欠陥を定量化している: 偽陽性のフロアに対する認識の破損、ほぼ同一の重複が取り除かれ、1918年以降の漏洩は、トレーニングコーパス自体から、転写されたソースから見つかった既知の0.04～0.38%のバイトの残基に除外され、文書化のための訓練された1つの文書である。
手作業で修正されたサンプルでは、文字エラー率は0.68%で、テキストの正しさは0.68%であり、サンプルパスの45%は修正できない。
その上で、47Mから349Mパラメータのデコーダのみのモデルのはしごをスクラッチからトレーニングし、その時間的境界度を測定します。
現代のポーランドの2つのベースモデルに対して、349Mは107Mのコンパレータに対するクロスオーバーを示しており、1918年以降のボキャブラリは周期ボキャブラリよりも1バイトあたり約3.1ビットコスト、コンパレータが示さないギャップ、周期ボキャブラリはコンパレータよりも少ないビットコストである。
時代テキストを表示すると、モデルはスペルとコンパレータを部分的にだけ保持する。
パラメータを追加すると、1秒でデータに渡される量の約2倍になる。
コーパス、コード、ウェイトをリリースします。
コンテンツ警告: モデルは、アンチセミティックステートメントを含む、期間偏見を再現する。
関連論文リスト
- ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。
1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
論文 参考訳（メタデータ） (2026-09-18T20:33:02Z) - Annotated Surrogate Retrieval for Polish Statutory Law [0.0]
本稿では,文書代理法に基づくポーランド法典の検索方法のファミリについて述べる。
ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合させ、DTFは言語モデルの両方のステージを3つの語彙と密度の高いレトリバーで置き換える。
2024年と2025年のポーランドの弁護士試験と法律顧問試験の300問に対して,これら3項目について,語彙,密集度,融解度,融解度と4つの基準値とを比較検討した。
論文 参考訳（メタデータ） (2026-08-31T15:05:00Z) - Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳（メタデータ） (2026-08-26T22:56:24Z) - LV-ROVER-MLT: Low-Resource Maltese OCR by Multi-Stream Voting [0.0]
本稿では,文字誤り率0.0234の微調整Tesseractベースラインに対するベンチマーク結果について報告する。
アンサンブル認識のみは、ベースラインと同じラベルの慣例で行われ、文字エラー率を44%改善して0.01317に向上する。
Tesseractのストレートクォートとダッシュ出力をベンチマークのキュリークォート規則に合わせる後処理チェーンと、誤読ダイアクリティカルを回復する1つのステージは、完全なパイプラインを文字エラー率0.00700に導く。
論文 参考訳（メタデータ） (2026-06-30T22:58:41Z) - How Surprising Is Historical Italian to Language Models? Tokenization Tax, Comprehension Tax, and a Simple Mitigation [0.0]
大規模言語モデル(LLM)はデジタルライブラリにとってますます重要になっているが、歴史的言語を処理する能力はいまだによく分かっていない。
本稿では,この難易度をトークン化コスト,予測の不確実性(前提),意味的堅牢性,コンテキスト感受性の4つの異なる次元に分解する診断フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-25T16:52:21Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。
我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
論文 参考訳（メタデータ） (2023-10-30T08:31:47Z) - Understanding writing style in social media with a supervised
contrastively pre-trained transformer [57.48690310135374]
オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。
512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
論文 参考訳（メタデータ） (2023-10-17T09:01:17Z) - Scarecrow: A Framework for Scrutinizing Machine Text [69.26985439191151]
我々はScarecrowと呼ばれる新しい構造化されたクラウドソースエラーアノテーションスキーマを導入する。
Scarecrowは1.3kの人文と機械が生成する英語ニューステキストの13kのアノテーションを収集する。
これらの結果は,現在および将来のテキスト生成システムの評価において,Scarecrowアノテーションの価値を示すものである。
論文 参考訳（メタデータ） (2021-07-02T22:37:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。