論文の概要: Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study

• arxiv url: http://arxiv.org/abs/2508.19481v1
• Date: Tue, 26 Aug 2025 23:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.448783
• Title: Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study
• Title（参考訳）: 辞書誘導ファインチューニングとRLによる低リソース翻訳の改善--スペイン語-和弓内記研究
• Authors: Manuel Mosquera, Melissa Robles, Johan Rodriguez, Ruben Manrique,
• Abstract要約: 本稿では、外部辞書ツールとエンドツーエンドのトレーニングモデルを統合することにより、低リソース言語への翻訳を強化する新しいアプローチを提案する。 モデルが生成中のバイリンガル辞書を選択的に参照できるツール拡張型意思決定問題として翻訳を行う。 予備的な結果から, ツール拡張モデルでは, これまでの作業よりも+3.37BLEUの改善が達成された。
• 参考スコア（独自算出の注目度）: 0.27998963147546146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-resource machine translation remains a significant challenge for large language models (LLMs), which often lack exposure to these languages during pretraining and have limited parallel data for fine-tuning. We propose a novel approach that enhances translation for low-resource languages by integrating an external dictionary tool and training models end-to-end using reinforcement learning, in addition to supervised fine-tuning. Focusing on the Spanish-Wayuunaiki language pair, we frame translation as a tool-augmented decision-making problem in which the model can selectively consult a bilingual dictionary during generation. Our method combines supervised instruction tuning with Guided Reward Policy Optimization (GRPO), enabling the model to learn both when and how to use the tool effectively. BLEU similarity scores are used as rewards to guide this learning process. Preliminary results show that our tool-augmented models achieve up to +3.37 BLEU improvement over previous work, and a 18% relative gain compared to a supervised baseline without dictionary access, on the Spanish-Wayuunaiki test set from the AmericasNLP 2025 Shared Task. We also conduct ablation studies to assess the effects of model architecture and training strategy, comparing Qwen2.5-0.5B-Instruct with other models such as LLaMA and a prior NLLB-based system. These findings highlight the promise of combining LLMs with external tools and the role of reinforcement learning in improving translation quality in low-resource language settings.
• Abstract（参考訳）: 低リソースの機械翻訳は大きな言語モデル(LLM)にとって依然として重要な課題である。 教師付き微調整に加えて、外部辞書ツールと強化学習を用いたエンドツーエンドの学習モデルを統合することで、低リソース言語への翻訳を強化する新しいアプローチを提案する。 スペイン語とWouunaikiの言語対に着目して、モデルが生成中のバイリンガル辞書を選択的に参照できるツール強化された意思決定問題として翻訳を行う。 本手法は,教師あり指導チューニングとガイド・リワード・ポリシー・オプティマイゼーション(GRPO, Guided Reward Policy Optimization)を組み合わせることで,モデルがいつ,どのようにツールを効果的に活用するかを学習できるようにする。 BLEU類似度スコアは、この学習プロセスを導く報酬として使用される。 その結果, ツール強化モデルでは, 従来よりも+3.37BLEUの改善が達成され, 辞書アクセスのない教師付きベースラインに比べて18%向上したことがわかった。 また,Qwen2.5-0.5B-インストラクトをLLaMAや従来のNLLBベースのシステムと比較し,モデルアーキテクチャとトレーニング戦略の効果を評価するためのアブレーション研究を行った。 これらの知見は,LLMを外部ツールと組み合わせることの約束と,低リソース言語設定における翻訳品質向上における強化学習の役割を強調した。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [54.59207567677249]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Improving Multilingual Language Models by Aligning Representations through Steering [10.159957091670883]
  本稿では,Large Language Models (LLM) が非英語トークンをどのように表現するかを検討する。 表現ステアリングを用いた軽量な介入手法を提案し、学習ベクトルを1つのモデル層における残差ストリームに追加し、多言語性能を向上させる。
  論文  参考訳（メタデータ） (2025-05-19T00:14:43Z)
• QueEn: A Large Language Model for Quechua-English Translation [20.377876059048692]
  本稿では,Retrieval-Augmented Generation(RAG)とパラメータ効率のよい微調整技術を組み合わせた,ケチュア英訳の新しい手法であるQueEnを提案する。 BLEUスコアは標準GPTモデルの1.5に対して17.6である。
  論文  参考訳（メタデータ） (2024-12-06T17:04:21Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。