論文の概要: DiscoX: Benchmarking Discourse-Level Translation task in Expert Domains
- arxiv url: http://arxiv.org/abs/2511.10984v1
- Date: Fri, 14 Nov 2025 06:09:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.447129
- Title: DiscoX: Benchmarking Discourse-Level Translation task in Expert Domains
- Title（参考訳）: DiscoX:エキスパートドメインにおける談話レベル翻訳タスクのベンチマーク
- Abstract要約: 談話レベルおよび専門家レベルの中国語-英語翻訳のための新しいベンチマークであるDiscoXを紹介する。
7つのドメインから200通の専門的なキュレートされたテキストで構成され、平均的な長さは1700通を超える。
また, 精度, 流速, 適切性にまたがる詳細な自動アセスメントを提供する参照フリーシステムであるMetric-Sを開発した。
- 参考スコア（独自算出の注目度）: 31.476690423712466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The evaluation of discourse-level translation in expert domains remains inadequate, despite its centrality to knowledge dissemination and cross-lingual scholarly communication. While these translations demand discourse-level coherence and strict terminological precision, current evaluation methods predominantly focus on segment-level accuracy and fluency. To address this limitation, we introduce DiscoX, a new benchmark for discourse-level and expert-level Chinese-English translation. It comprises 200 professionally-curated texts from 7 domains, with an average length exceeding 1700 tokens. To evaluate performance on DiscoX, we also develop Metric-S, a reference-free system that provides fine-grained automatic assessments across accuracy, fluency, and appropriateness. Metric-S demonstrates strong consistency with human judgments, significantly outperforming existing metrics. Our experiments reveal a remarkable performance gap: even the most advanced LLMs still trail human experts on these tasks. This finding validates the difficulty of DiscoX and underscores the challenges that remain in achieving professional-grade machine translation. The proposed benchmark and evaluation system provide a robust framework for more rigorous evaluation, facilitating future advancements in LLM-based translation.
- Abstract（参考訳）: 専門領域における談話レベルの翻訳の評価は、知識の普及と言語横断的な学術コミュニケーションの中心性にもかかわらず、依然として不十分である。
これらの翻訳では、談話レベルのコヒーレンスと厳密な用語的精度が要求されるが、現在の評価手法は主にセグメントレベルの精度と流布に焦点を当てている。
この制限に対処するために、談話レベルおよび専門家レベルの中国語-英語翻訳のための新しいベンチマークであるDiscoXを紹介する。
7つのドメインから200通の専門的なキュレートされたテキストで構成され、平均的な長さは1700通を超える。
また,DiscoXの性能を評価するために,精度,流布度,適切性など,詳細な自動評価を行う参照フリーシステムであるMetric-Sを開発した。
Metric-Sは、人間の判断と強い一貫性を示し、既存のメトリクスを著しく上回る。
もっとも先進的なLSMでさえも、これらのタスクに関して人間の専門家を追い越しているのです。
この発見は、DiscoXの難しさを証明し、プロフェッショナルグレードの機械翻訳の達成における課題を浮き彫りにする。
提案するベンチマークと評価システムは,より厳密な評価を行うための堅牢なフレームワークを提供する。
関連論文リスト
- XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳（メタデータ） (2026-04-16T12:27:10Z) - Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。
実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
論文 参考訳（メタデータ） (2026-01-12T09:03:42Z) - DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation [31.1561882673283]
DIINGは、Webノベル翻訳のための最初の総合的な評価フレームワークである。
AgentEvalは専門家による検討をシミュレートし、語彙オーバーラップを超えて翻訳品質を評価する。
誤りラベルとスカラー品質スコアを付加した300文対のメタ評価データセットであるMetricAlignを開発した。
論文 参考訳（メタデータ） (2025-10-10T08:10:10Z) - Estimating Machine Translation Difficulty [48.659971048116766]
翻訳難易度推定のタスクを形式化し、その翻訳の期待品質に基づいてテキストの難易度を定義する。
本稿では,機械翻訳のためのより困難なベンチマークを構築するために,難易度推定器の実用性を示す。
難易度推定のための2つの改良されたモデル、Sentinel-src-24とSentinel-src-25をリリースする。
論文 参考訳（メタデータ） (2025-08-13T20:22:58Z) - Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。
近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。
以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
論文 参考訳（メタデータ） (2025-05-25T08:37:55Z) - Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳（メタデータ） (2025-04-10T09:24:54Z) - Is Context Helpful for Chat Translation Evaluation? [23.440392979857247]
我々は、機械翻訳チャットの品質を評価するために、既存の文レベル自動メトリクスのメタ評価を行う。
参照なしのメトリクスは、特に英語外設定で翻訳品質を評価する場合、参照ベースのメトリクスよりも遅れていることが分かりました。
大規模言語モデルを用いたバイリンガル文脈を用いた新しい評価指標 Context-MQM を提案する。
論文 参考訳（メタデータ） (2024-03-13T07:49:50Z) - Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。
我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。
本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
論文 参考訳（メタデータ） (2023-03-24T05:05:03Z) - Rethink about the Word-level Quality Estimation for Machine Translation
from Human Judgement [57.72846454929923]
ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。
本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。
その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
論文 参考訳（メタデータ） (2022-09-13T02:37:12Z) - The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual
Machine Translation [21.55080388385458]
本研究では,英語ウィキペディアから抽出した3001文からなるFLORES-101評価ベンチマークを紹介する。
結果として得られたデータセットは、低リソース言語の長い尾におけるモデル品質のより良い評価を可能にする。
論文 参考訳（メタデータ） (2021-06-06T17:58:12Z) - Towards the evaluation of simultaneous speech translation from a
communicative perspective [0.0]
本稿では,同時音声翻訳エンジンの品質評価を目的とした実験結果について述べる。
機械が情報性の観点からやや良く機能する一方で、人間の通訳者にとって、知性の観点からはより良いパフォーマンスを見出した。
論文 参考訳（メタデータ） (2021-03-15T13:09:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。