論文の概要: Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

• arxiv url: http://arxiv.org/abs/2607.26286v1
• Date: Tue, 28 Jul 2026 21:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.485752
• Title: Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation
• Title（参考訳）: 局所LLM機械翻訳におけるプロンプトスコープと実証類似性の評価
• Abstract要約: 大規模言語モデル(LLM)は、汎用翻訳システムとしてますます使われている。 本稿では,ローカルLLM機械翻訳のための実験変数として,スコープとデモの選択を促進させる。 欧州連合の公用語9言語を対象に,FLORESの完全版における英語-ロマンス語と英語-ドイツ語翻訳の評価を行った。
• 参考スコア（独自算出の注目度）: 2.115174610040722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as general-purpose translation systems, but their behavior is usually evaluated under a single prompt shape: translate one source sentence into one target language. In practice, users may ask for one target language, for several related languages at once, or for translations conditioned on examples. This paper studies prompt scope and demonstration selection as experimental variables for local LLM machine translation. We evaluate English-to-Romance and English-to-Germanic translation on the full FLORES devtest split for nine official European Union languages. We compare three local instruction-tuned LLMs, llama3.2:3b, mistral:latest, and qwen2.5:14b, against dedicated MT baselines from OPUS-MT and NLLB-200. We test zero-shot prompting and k=5 few-shot prompting with random, lexical-similarity, and embedding-similarity demonstration selection. We also compare single-target prompts with JSON-formatted family-scope prompts that request all languages in a family at once. Results show that dedicated MT systems remain strongest overall, especially for Germanic languages. Few-shot prompting helps mistral:latest and qwen2.5:14b, but hurts llama3.2:3b; embedding retrieval is best on average for the stronger LLMs, but its advantage over random and lexical examples is modest. Family-scope prompting is feasible for stronger local LLMs but exposes structured-output failures in smaller models. These findings motivate evaluating LLM translation not only by language pair and metric, but also by prompt scope, retrieval strategy, and multi-target compliance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、汎用翻訳システムとして使われることが多いが、その振る舞いは通常、1つのソース文を1つのターゲット言語に変換する1つのプロンプト形式で評価される。 実際には、ユーザは1つのターゲット言語、複数の関連言語を一度に、あるいはサンプルに条件付けされた翻訳を要求できる。 本稿では,ローカルLLM機械翻訳のための実験変数として,スコープとデモの選択を促進させる。 欧州連合の公用語9言語を対象に,FLORESの完全版における英語-ロマンス語と英語-ドイツ語翻訳の評価を行った。 我々は、OPUS-MTとNLLB-200のMTベースラインに対して、3つのローカル命令調整LDM、llama3.2:3b、mistral:latest、qwen2.5:14bを比較した。 ゼロショットのプロンプトとk=5のプロンプトをランダム,語彙相似,埋め込み相似のデモ選択でテストする。 また、単一ターゲットプロンプトとJSON形式のファミリースコーププロンプトを比較して、一度に家族内のすべての言語を要求する。 以上の結果から,特にゲルマン語ではMT系が最強であることが示唆された。 ラトストとqwen2.5:14bは不規則であるが、ラマ3.2:3bは傷つく。 ファミリースコープのプロンプトは、より強力なローカルLLMでは実現可能だが、より小さなモデルでは構造化出力の失敗が露呈する。 これらの知見は,LLM翻訳を言語対とメートル法だけでなく,即時範囲,検索戦略,多目的コンプライアンスによって評価する動機となっている。

関連論文リスト

• Mind the Gap... or Not? How Translation Errors and Evaluation Details Skew Multilingual Results [16.391752298134474]
  言語間で異なる大規模言語モデル(LLM)の性能について検討する。 言語間でのモデルの性能には、非無視的で一貫したギャップがあることが分かりました。 本稿では,第1の課題を大規模に解決するための自動品質保証手法を提案し,第2の課題に対処するためのレコメンデーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T11:30:10Z)
• Compositional Translation: A Novel LLM-based Approach for Low-resource Machine Translation [20.704153242284114]
  機械翻訳は、翻訳する文と意味的に類似している場合に、文脈内例の恩恵を受けることが示されている。 本稿では,LLMに基づく新しい翻訳パラダイムである合成翻訳を提案する。 私たちの直感は、これらの短いフレーズは本質的に翻訳が簡単で、関連する例と簡単に一致するので、このアプローチは翻訳を改善するべきだということです。
  論文  参考訳（メタデータ） (2025-03-06T15:37:31Z)
• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• Learning-From-Mistakes Prompting for Indigenous Language Translation [3.7790255156708397]
  本稿では,低リソースの母国語翻訳を改善する手法を提案する。 我々のアプローチは、限られた数の並列翻訳例からなるデータストアの使用に基礎を置いています。 我々は、LLMをユニバーサルトランスレータとして使用するような設定において、LLMと文脈内学習技術のポテンシャルを利用する。
  論文  参考訳（メタデータ） (2024-07-18T09:41:20Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• On Bilingual Lexicon Induction with Large Language Models [81.6546357879259]
  本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。 本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。 私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
  論文  参考訳（メタデータ） (2023-10-21T12:43:27Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。