論文の概要: Translation Analytics for Freelancers II: Benchmarking Local LLMs for Confidential Translation Workflows
- arxiv url: http://arxiv.org/abs/2605.31452v1
- Date: Fri, 29 May 2026 15:46:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.712679
- Title: Translation Analytics for Freelancers II: Benchmarking Local LLMs for Confidential Translation Workflows
- Title（参考訳）: フリーランサーのための翻訳分析II: 秘密翻訳ワークフローのためのローカルLLMのベンチマーク
- Abstract要約: 本稿では,翻訳技術を評価するために,フリーランス翻訳者やより小規模な言語サービス提供者に対して,実用的で低障壁な手法を開発する。
機密性に敏感なドメインのためのオフライン翻訳。
我々は,このコーパスから選択した1000以上の文に対して,局所実行可能な言語モデルを4つの言語方向にわたってベンチマークした。
- 参考スコア（独自算出の注目度）: 0.1784933900656067
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Building on our previous work, this paper develops practical, low-barrier methods for freelance translators and smaller language service providers to evaluate translation technologies using rigorous yet accessible analytic methods. Here we address a high-stakes, specialized need: offline translation for confidentiality-sensitive domains in which privacy constraints preclude the use of cloud-based engines and commercial LLMs. We expand the Reeve Foundation Trilingual Corpus (RFTC) used in our previous work into a multilingual corpus (RFMC) by adding sentence-aligned German and Simplified Chinese reference translations. We then benchmark several locally runnable language models (via Ollama) across four language directions on 1000+ sentences selected from this corpus. We use consistent single-prompt calls without fine-tuning or domain adaptation, comparing local LLM outputs against commercial NMTs (DeepL, Baidu), a frontier LLM (GPT-5.2), and professional-grade local NMT systems (OPUS-CAT, NeuralDesktop, Promt). Automatic evaluation is conducted with MATEO. Results reveal substantial variation in local LLM performance across language directions and model sizes. The best local LLMs match or surpass local NMT systems and a frontier LLM, though they remain behind top commercial NMTs. These findings underscore the viability of carefully selected local LLM translation for privacy-constrained professionals and inform future research on model scaling and multilingual capability.
- Abstract（参考訳）: 本稿は,本研究に基づいて,厳密でアクセスしやすい分析手法を用いて翻訳技術を評価するための,フリーランス翻訳者や小規模言語サービス提供者のための実用的で低バリアな手法を開発する。
プライバシ制約がクラウドベースのエンジンや商用LLMの使用を妨げる、機密性に敏感なドメインのオフライン翻訳。
これまでの研究で用いたReeve Foundation Trilingual Corpus (RFTC) を多言語コーパス (RFMC) に拡張し, 文順のドイツ語と簡素な中国語の参照翻訳を追加する。
次に、このコーパスから選択された1000以上の文に対して、4つの言語方向のローカル実行可能な言語モデルをベンチマークする。
我々は、細調整やドメイン適応なしに一貫した単一プロンプトコールを使用し、ローカルLLM出力を商用NMT(DeepL、Baidu)、フロンティアLLM(GPT-5.2)、プロフェッショナルグレードのローカルNMTシステム(OPUS-CAT、NeuralDesktop、Promt)と比較した。
MATEOで自動評価を行う。
その結果,言語方向やモデルサイズにまたがる局所LLM性能のかなりの変化が明らかとなった。
最高のローカルLSMは、地元のNTTシステムとフロンティアLSMと一致するか、または超える。
これらの知見は、プライバシに制約のあるプロフェッショナルを対象とした、慎重に選択されたローカルLLM翻訳の実現可能性を強調し、モデルスケーリングと多言語機能に関する今後の研究を知らせるものである。
関連論文リスト
- Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains [6.357124887141297]
大規模言語モデル (LLM) は機械翻訳 (MT) を再定義した
LLMは言語家族や専門ドメイン間で不均一なパフォーマンスを示すことが多い。
オープンソースLLMの翻訳品質と公平性を評価するための統合フレームワークおよびデータセットであるTranslation Tanglesを紹介する。
論文 参考訳（メタデータ） (2025-10-09T07:28:30Z) - Beyond the Sentence: A Survey on Context-Aware Machine Translation with Large Language Models [19.76204414964156]
本研究は,大規模言語モデル(LLM)を用いた文脈認識翻訳の文献レビューである。
既存の作業はプロンプトと微調整のアプローチを利用しており、文脈対応機械翻訳のための自動後編集と翻訳エージェントの作成にはほとんど焦点を当てていない。
論文 参考訳（メタデータ） (2025-06-09T09:27:00Z) - Combining the Best of Both Worlds: A Method for Hybrid NMT and LLM Translation [12.59407158733001]
大規模言語モデル(LLM)は、機械翻訳(MT)など、様々な下流タスクにおいて有望なパフォーマンスを示す。
しかし、翻訳にLLMを使うことは、高い計算コストとかなりのレイテンシに悩まされる。
本稿では,ソース文の特徴を生かした,新規で素直な判定手法を提案する。
論文 参考訳（メタデータ） (2025-05-19T06:50:52Z) - Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:39:44Z) - Learning-From-Mistakes Prompting for Indigenous Language Translation [3.7790255156708397]
本稿では,低リソースの母国語翻訳を改善する手法を提案する。
我々のアプローチは、限られた数の並列翻訳例からなるデータストアの使用に基礎を置いています。
我々は、LLMをユニバーサルトランスレータとして使用するような設定において、LLMと文脈内学習技術のポテンシャルを利用する。
論文 参考訳（メタデータ） (2024-07-18T09:41:20Z) - Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。
しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか?
本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文 参考訳（メタデータ） (2024-06-23T15:15:17Z) - Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
オフターゲット翻訳は、特に低リソース言語では未解決の問題である。
最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。
本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-03-21T13:47:40Z) - Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。
近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。
本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
論文 参考訳（メタデータ） (2024-01-12T09:29:13Z) - Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。
大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。
英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文 参考訳（メタデータ） (2023-12-21T05:32:49Z) - Okapi: Instruction-tuned Large Language Models in Multiple Languages
with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。
オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文 参考訳（メタデータ） (2023-07-29T18:01:46Z) - Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳（メタデータ） (2023-04-10T15:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。