論文の概要: Mobilizing the Archive: Bitext Extraction at Scale from Archival Documents for Extremely Low-resource Languages

• arxiv url: http://arxiv.org/abs/2610.40233v1
• Date: Thu, 29 Oct 2026 15:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 07:55:09.855704
• Title: Mobilizing the Archive: Bitext Extraction at Scale from Archival Documents for Extremely Low-resource Languages
• Title（参考訳）: アーカイブのモビライズ:極低リソース言語のためのアーカイブ文書からの大規模バイオテキスト抽出
• Abstract要約: オンラインで表現されていない言語に対して並列データを提供する言語資源から翻訳例を抽出することを提案する。 我々は、光学文字認識(OCR)モデルと視覚言語モデルを利用して、これを実現するパイプラインを開発する。 本稿では,20言語にまたがる翻訳システムのブートストラップに,抽出したbitextsの有用性を実証する。
• 参考スコア（独自算出の注目度）: 24.9235775107536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While mining parallel sentences from web pages has proven effective for low-resource machine translation, the majority of the world's languages have little to no web presence. What they do have, though, are resources that are the result of centuries of efforts by linguists, such as grammars, dictionaries, and other documentation materials. We propose extracting translation examples from such linguistic resources, which offer parallel data for languages under-represented online and could potentially scale to thousands more languages. We develop a pipeline to achieve this, leveraging an Optical Character Recognition (OCR) model as well as a vision language model (VLM), to ensure identified content to be aligned with visual layout information. We demonstrate the utility of the extracted bitexts for bootstrapping translation systems across 20 languages, both by training machine translation models and by applying in-context learning for large language models. For in-context learning, we observe improvements of +15.78 and +6.94 chrF2++ over zero-shot translation for into low- and high-resource languages, respectively.
• Abstract（参考訳）: Webページからの並列文のマイニングは、低リソースの機械翻訳に有効であることが証明されているが、世界の言語の大半は、ほとんど、あるいは全くWebの存在を持っていない。 しかし、彼らが持っているものは、文法、辞書、その他の文書資料など、何世紀にもわたって言語学者による努力の結果生まれたリソースである。 オンラインに表現されていない言語に対して並列データを提供する言語資源から翻訳例を抽出し,数千の言語に拡張できる可能性がある。 我々は,光学文字認識(OCR)モデルと視覚言語モデル(VLM)を活用して,視覚的レイアウト情報に整合性を持たせるためのパイプラインを開発した。 本稿では,機械翻訳モデルの学習と大規模言語モデルへの文脈内学習の適用により,20言語にわたる翻訳システムのブートストラップに,抽出したbitextsの有用性を実証する。 In-context Learningでは,低リソース言語へのゼロショット変換よりも,+15.78と+6.94 chrF2++の改善を観察する。

関連論文リスト

• MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
  We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。 イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。 この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
  論文  参考訳（メタデータ） (2026-08-06T10:24:08Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Improving Multilingual Neural Machine Translation System for Indic Languages [0.0]
  低リソース言語翻訳に関わる問題に対処する多言語ニューラルマシン翻訳(MNMT)システムを提案する。 提案モデルの実現には最先端のトランスフォーマーアーキテクチャを用いる。 大量のデータに対する試行は、従来のモデルよりもその優位性を明らかにしている。
  論文  参考訳（メタデータ） (2022-09-27T09:51:56Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。