論文の概要: TransBench: Benchmarking Machine Translation for Industrial-Scale Applications

• arxiv url: http://arxiv.org/abs/2505.14244v1
• Date: Tue, 20 May 2025 11:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.151747
• Title: TransBench: Benchmarking Machine Translation for Industrial-Scale Applications
• Title（参考訳）: TransBench: 産業用アプリケーションのためのベンチマークマシン翻訳
• Abstract要約: 機械翻訳(MT)は、電子商取引、金融、法務サービスといったグローバル産業における国境を越えたコミュニケーションにとって欠かせないものとなっている。 汎用MTモデルを産業シナリオに適用すると、ドメイン固有の用語、文化的ニュアンス、および一般的なベンチマークに欠落したスタイル上の規則による限界が明らかになる。 既存の評価フレームワークは、専門的な文脈での翻訳を不十分に評価し、学術ベンチマークと実世界の有効性の間にギャップを生じさせる。 産業用MTのベンチマークであるTransBenchを導入し、最初は4つの主要なシナリオと33の言語ペアにまたがる17,000の文で国際eコマースをターゲットにした。
• 参考スコア（独自算出の注目度）: 39.03233118476432
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine translation (MT) has become indispensable for cross-border communication in globalized industries like e-commerce, finance, and legal services, with recent advancements in large language models (LLMs) significantly enhancing translation quality. However, applying general-purpose MT models to industrial scenarios reveals critical limitations due to domain-specific terminology, cultural nuances, and stylistic conventions absent in generic benchmarks. Existing evaluation frameworks inadequately assess performance in specialized contexts, creating a gap between academic benchmarks and real-world efficacy. To address this, we propose a three-level translation capability framework: (1) Basic Linguistic Competence, (2) Domain-Specific Proficiency, and (3) Cultural Adaptation, emphasizing the need for holistic evaluation across these dimensions. We introduce TransBench, a benchmark tailored for industrial MT, initially targeting international e-commerce with 17,000 professionally translated sentences spanning 4 main scenarios and 33 language pairs. TransBench integrates traditional metrics (BLEU, TER) with Marco-MOS, a domain-specific evaluation model, and provides guidelines for reproducible benchmark construction. Our contributions include: (1) a structured framework for industrial MT evaluation, (2) the first publicly available benchmark for e-commerce translation, (3) novel metrics probing multi-level translation quality, and (4) open-sourced evaluation tools. This work bridges the evaluation gap, enabling researchers and practitioners to systematically assess and enhance MT systems for industry-specific needs.
• Abstract（参考訳）: 機械翻訳(MT)は、電子商取引、金融、法務サービスといったグローバル産業におけるクロスボーダー通信において欠かせないものとなり、近年の大規模言語モデル(LLM)の進歩により翻訳品質が著しく向上している。 しかし、産業シナリオに汎用MTモデルを適用すると、ドメイン固有の用語、文化的ニュアンス、および一般的なベンチマークに欠落するスタイル上の規則による限界が明らかになる。 既存の評価フレームワークは、特定のコンテキストにおけるパフォーマンスを不十分に評価し、学術ベンチマークと実世界の有効性の間にギャップを生じさせる。 そこで我々は,(1)基本言語能力,(2)ドメイン特化能力,(3)文化的適応という3段階の翻訳能力の枠組みを提案する。 産業用MT用に調整されたベンチマークであるTransBenchを導入し、最初は4つの主要なシナリオと33の言語ペアにまたがる17,000の専門翻訳文で国際eコマースをターゲットにした。 TransBenchは従来のメトリクス(BLEU, TER)をドメイン固有の評価モデルであるMarco-MOSと統合し、再現可能なベンチマーク構築のためのガイドラインを提供する。 コントリビューションには,(1)産業MT評価のための構造化フレームワーク,(2)eコマース翻訳のための最初の公開ベンチマーク,(3)多水準翻訳品質を示す新しい指標,(4)オープンソース評価ツールなどが含まれている。 この研究は評価ギャップを埋め、研究者や実践者が業界特有のニーズに対してMTシステムを体系的に評価し、拡張することを可能にする。

関連論文リスト

• Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines [50.471211036005286]
  大規模マルチモーダル・インダストリアル・オープン・クローズド・ベンチマーク(MMIOC-1M)を導入する。 MMIOC-1Mは、オープンボキャブラリとクローズドセットの工業検出をサポートする最初の統一された最大のベンチマークである。 本稿では,3つの重要なイノベーションを取り入れたRTVPNetを提案する。
  論文  参考訳（メタデータ） (2026-06-06T03:06:10Z)
• Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
  本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。 実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
  論文  参考訳（メタデータ） (2026-01-12T09:03:42Z)
• DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation [31.1561882673283]
  DIINGは、Webノベル翻訳のための最初の総合的な評価フレームワークである。 AgentEvalは専門家による検討をシミュレートし、語彙オーバーラップを超えて翻訳品質を評価する。 誤りラベルとスカラー品質スコアを付加した300文対のメタ評価データセットであるMetricAlignを開発した。
  論文  参考訳（メタデータ） (2025-10-10T08:10:10Z)
• Specification-Aware Machine Translation and Evaluation for Purpose Alignment [10.50113943900077]
  専門的な翻訳において仕様が重要な理由に関する理論的根拠を提供するとともに,仕様対応機械翻訳(MT)の実装のための実践的ガイドを提供する。 我々は、専門家のエラー分析、ユーザの嗜好ランキング、自動測定値を用いて、人文翻訳と大規模言語モデル(LLM)からのプロンプトベースのアウトプットを含む5つの翻訳タイプを比較した。 その結果,仕様書による翻訳は人間の評価において人文翻訳よりも一貫して優れており,知覚と期待される品質のギャップが強調された。
  論文  参考訳（メタデータ） (2025-09-22T10:50:37Z)
• MT$^{3}$: Scaling MLLM-based Text Image Machine Translation via Multi-Task Reinforcement Learning [22.27715186895943]
  エンドツーエンド TIMT に Multi-Task RL をMLLM に適用する最初のフレームワークである MT$3$ を紹介する。 TIMTの複雑さにルールベースのRL戦略を適応させる、新しいマルチミックス報酬機構を用いて訓練されている。 我々のモデルは最新のドメイン内MIT-10Mベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-05-26T09:02:35Z)
• Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs [23.19401079530962]
  英語と韓国語の間で知識に富んだ、エンティティに富んだテキストを翻訳するには、言語固有の、文化的なニュアンスを保存するためのトランスクリエーションが必要である。 自動計測とバイリンガルアノテータによる人的評価を用いて13のモデル(LLMとMTモデル)を評価する。
  論文  参考訳（メタデータ） (2025-04-29T05:58:19Z)
• Translation Analytics for Freelancers: I. Introduction, Data Preparation, Baseline Evaluations [0.0]
  これは、最近の言語技術の進歩に起因する、急速に拡大する新しい機会を探求する一連の論文の最初のものである。 我々は、これらの進歩を活用するための実用的な手法で翻訳者を強化することを目指している。
  論文  参考訳（メタデータ） (2025-04-20T13:54:28Z)
• Redefining Machine Translation on Social Network Services with Large Language Models [35.519703688810786]
  本稿では,SNS翻訳に適した72B LLMであるRedTransを紹介する。 RedTransは、3つのイノベーションを通じて開発された新しいデータセットでトレーニングされている。 実験では、RedTransは最先端のLLMよりも優れています。
  論文  参考訳（メタデータ） (2025-04-10T16:24:28Z)
• Translating Multimodal AI into Real-World Inspection: TEMAI Evaluation Framework and Pathways for Implementation [3.848879161330863]
  本稿では,インスペクションフレームワークにおけるマルチモーダルAIの翻訳評価について紹介する。 インダストリアルインスペクション実装でマルチモーダルAI機能をブリッジする。 このフレームワークは、技術的能力だけで、対応する採用メカニズムなしで限られた価値が得られることを実証している。
  論文  参考訳（メタデータ） (2025-03-31T11:30:56Z)
• MME-Industry: A Cross-Industry Multimodal Evaluation Benchmark [20.642661835794975]
  産業環境におけるMLLMの評価に特化して設計された新しいベンチマークであるMME-Industryを紹介する。 ベンチマークは21の異なるドメインを含み、1ドメインにつき50の質問と回答のペアが1050である。 ベンチマークの中国語版と英語版の両方を提供し、これらの言語間でMLLMの能力の比較分析を可能にする。
  論文  参考訳（メタデータ） (2025-01-28T03:56:17Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• UniTE: Unified Translation Evaluation [63.58868113074476]
  UniTEは3つの評価タスクをすべて処理する能力に携わる最初の統合フレームワークである。 We testify our framework on WMT 2019 Metrics and WMT 2020 Quality Estimation benchmarks。
  論文  参考訳（メタデータ） (2022-04-28T08:35:26Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。