論文の概要: Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation

• arxiv url: http://arxiv.org/abs/2606.06428v1
• Date: Thu, 04 Jun 2026 17:32:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.996691
• Title: Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation
• Title（参考訳）: 強化学習による未知語翻訳の文脈学習
• Authors: Hanxu Hu, Zdeněk Šnajdr, Pinzhen Chen, Jannis Vamvas, Rico Sennrich,
• Abstract要約: 本稿では,リッチな言語文脈を前提とした言語翻訳に対する強化学習(RL)アプローチを提案する。 軽量な報奨にもかかわらず、我々のRL学習モデルは、提供された文脈から関連言語情報を効果的に抽出し、適用する。 分析の結果,結果に基づくRLは,数学やコーディングといった従来の推論タスクを超えて,文脈からの言語学習のレシピとして機能することが示唆された。
• 参考スコア（独自算出の注目度）: 35.3382718505629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior work has shown that large language models (LLMs) can translate unseen or low-resource languages by undergoing continued training or even by encoding a grammar book in their context. However, both methods typically overfit specific languages, with limited zero-shot transfer at test time. To translate extremely low-resource languages at scale, we argue that LLMs must acquire the meta-skill of utilizing in-context linguistic knowledge rather than memorizing specific languages. In this paper, we propose a reinforcement learning (RL) approach to unseen language translation given rich linguistic context, using a surface-level translation metric (chrF) as the reward. Empirically, despite the lightweight reward, our RL-trained models effectively extract and apply relevant linguistic information from the provided context, leading to better translations on completely unseen languages than in-context learning or supervised fine-tuning. Our analyses suggest that outcome-based RL can extend beyond conventional reasoning tasks like math and coding to serve as a recipe for language learning from context.
• Abstract（参考訳）: 以前の研究によると、大きな言語モデル(LLM)は、継続トレーニングや文脈で文法書をエンコードすることで、目に見えない言語や低リソースの言語を翻訳することができる。 しかしながら、どちらのメソッドもテスト時にゼロショット転送が制限されるため、特定の言語に適さないのが一般的である。 極端に低リソースな言語を大規模に翻訳するには,LLMは特定の言語を記憶するのではなく,文脈内言語知識を活用するメタスキルを習得する必要があると論じる。 本稿では,表層翻訳量(chrF)を報奨として,豊かな言語文脈を付与した未知語翻訳に対する強化学習(RL)アプローチを提案する。 経験的に、ライトウェイトな報酬にもかかわらず、我々のRL学習モデルは、提供された文脈から関連言語情報を効果的に抽出し、適用し、コンテクスト内学習や教師付き微調整よりも、完全に見えない言語により良い翻訳をもたらす。 分析の結果,結果に基づくRLは,数学やコーディングといった従来の推論タスクを超えて,文脈からの言語学習のレシピとして機能することが示唆された。

関連論文リスト

• Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation? [49.7935995447581]
  我々は,低リソース機械翻訳が言語解析と文法推論の中間段階の構造化の恩恵を受けるか検討する。 本稿では,Universal Dependencies Treebank,Dictionary,Gram-rule Bankから,ステップバイステップの言語推論トレースを自動的に生成するパイプラインを提案する。 その結果,言語的推論の痕跡は推論時ガイダンスとして最も有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-02T15:36:12Z)
• Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages [6.780441755361993]
  この研究は、5つの多様なターゲット言語、3つのベースLLM、7つの下流タスク、4,100GPUトレーニング時間(9,900以上のTFLOP)にまたがる。 以上の結果から,数発のプロンプトと翻訳テストの設定は勾配に基づく適応法よりも優れる傾向が示唆された。 我々の知る限り、この研究は、列車計算と考慮された適応手法の数に関して、低リソース言語における文脈内学習における最大の研究である。
  論文  参考訳（メタデータ） (2025-06-23T23:22:11Z)
• In-context Language Learning for Endangered Languages in Speech Recognition [15.294500162002345]
  In-context Learning (ICL) を用いて,大規模言語モデル (LLM) が未知の低リソース言語を学習できるかどうかを検討する。 ICLは、これらの言語に特化して訓練された専用言語モデルに匹敵する、あるいは超越したASR性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2025-05-26T18:38:59Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。