論文の概要: Text Generation in Low-Resource Languages Using Human-Curated Vocabularies

• arxiv url: http://arxiv.org/abs/2610.37105v1
• Date: Tue, 27 Oct 2026 12:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.267588
• Title: Text Generation in Low-Resource Languages Using Human-Curated Vocabularies
• Title（参考訳）: 字幕語彙を用いた低リソース言語におけるテキスト生成
• Abstract要約: 推論可能なLLMは、極低リソース言語でも、流動的なテキストを生成することができることを示す。 その結果,低リソース言語で合成データをブートストラップする実践的な方法が明らかになった。
• 参考スコア（独自算出の注目度）: 11.52674646618152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic text generation offers a promising approach to alleviating data scarcity in low-resource languages. However, its effectiveness is inherently limited for languages that are scarcely represented, or entirely absent, in an LLM's pretraining data. At the same time, many such languages have human-curated vocabularies that provide rich lexical and semantic information, often accompanied by grammatical information such as part-of-speech labels. In this work, we ask whether LLMs can leverage these resources to generate coherent text in extremely low-resource and unseen languages. We introduce a framework that combines human-curated vocabularies with a small number of human-written exemplars that provide syntactic signals, while sampling candidate words according to a Zipfian distribution. Across languages with varying levels of resource availability, we evaluate the generated text using lexical diversity, off-target ratio, and human judgments of fluency. Our results show that reasoning-enabled LLMs can generate fluent text even in extremely low-resource languages, with particularly strong results at the sentence level and promising performance at the paragraph level. Our findings highlight a practical pathway for bootstrapping synthetic data in low-resource languages, expanding the amount of usable text even when existing digital resources are extremely limited. Our source code is available at https://github.com/michaelsinanta/vocab2text.
• Abstract（参考訳）: 合成テキスト生成は、低リソース言語におけるデータの不足を軽減するための有望なアプローチを提供する。 しかし、LLMの事前学習データでは、その有効性は、ほとんど表現されないか、完全に欠落している言語に限られている。 同時に、そのような言語の多くは、リッチな語彙情報や意味情報を提供する人格化された語彙を持ち、しばしば音声のラベルのような文法情報を伴う。 本研究では,LLMがこれらの資源を利用して,極低リソース・非可視言語でコヒーレントなテキストを生成することができるかどうかを問う。 そこで本研究では,人文的な語彙と,構文的信号を提供する少数の人文的表現を組み合わせながら,Zipfian分布に従って候補単語をサンプリングする枠組みを提案する。 資源利用率の異なる言語間で、語彙の多様性、ターゲット外比、流布の人的判断を用いて、生成したテキストを評価する。 この結果から,LLMは低リソース言語でも,特に文レベルでは強い結果が得られ,段落レベルでは有望な性能が得られた。 本研究は, 既存のデジタルリソースが極端に限られている場合でも, 低リソース言語で合成データをブートストラップし, 使用可能なテキストの量を拡大する実践的な方法であることを示す。 ソースコードはhttps://github.com/michaelsinanta/vocab2text.comから入手可能です。

関連論文リスト

• Natural language processing for African languages [7.884789325654572]
  論文はサハラ以南のアフリカで話される言語に焦点を合わせ、すべての先住民語を低資源と見なすことができる。 単語埋め込みで学習した意味表現の質は、データ量だけでなく、事前学習データの品質にも依存することを示す。 そこで我々は,21のアフリカ言語を対象とした大規模人間アノテーション付きラベル付きデータセットを2つのインパクトのあるNLPタスクで開発する。
  論文  参考訳（メタデータ） (2025-06-30T22:26:36Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Generating bilingual example sentences with large language models as lexicography assistants [2.6550899846546527]
  本稿では,資源レベルの異なる言語におけるバイリンガル辞書の例文の生成と評価におけるLLMの性能について検討する。 GDEX(Good Dictionary Example)基準に対するLCM生成例の品質評価を行った。
  論文  参考訳（メタデータ） (2024-10-04T06:45:48Z)
• High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models [5.632410663467911]
  我々は、事前訓練された大規模言語モデル(LLM)が、アンダーリソース言語のパフォーマンスギャップを埋める可能性について検討する。 LLM は,低リソース言語における技術の現状を,かなりのマージンで容易に設定できることがわかった。 全ての言語について、人間の評価は最高のシステムで人間と同等のパフォーマンスを示すが、BLEUのスコアは英語に比べて崩壊する。
  論文  参考訳（メタデータ） (2024-02-19T16:29:40Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Progressive Sentiment Analysis for Code-Switched Text Data [26.71396390928905]
  私たちは、ラベル付きリソース豊富な言語データセットと、ラベルなしのコード変更データを持つコード変更感情分析に重点を置いています。 資源豊富な言語と低リソース言語を区別する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-25T23:13:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。