論文の概要: PatTransBench: an ipc-stratified, multi-dimensional benchmark for patent machine translation evaluation
- arxiv url: http://arxiv.org/abs/2610.16538v1
- Date: Mon, 12 Oct 2026 10:25:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.357199
- Title: PatTransBench: an ipc-stratified, multi-dimensional benchmark for patent machine translation evaluation
- Title（参考訳）: PatTransBench: 特許機械翻訳評価のためのipc成層多次元ベンチマーク
- Abstract要約: 提案するPatTransBenchは,4次元評価プロトコルを用いた12,000石の中国語/英語/日本語/韓国語特許機械翻訳(PatMT)ベンチマークである。
ベンチマークは6000の短文(文/接頭辞)と6,000の長文(パラグラフ)のペアで構成され、3つの言語対と両翻訳方向に均等に分けられる。
評価プロトコルは、リテラルn-gramオーバーラップ(BLEU, ROUGEL, chrF)、言語間セマンティック類似性(CLSTS)、38言語一貫性テスト、パフォーマンス基盤を提供する。
- 参考スコア（独自算出の注目度）: 3.5808917363708743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present PatTransBench, a 12,000-item Chinese-English/Japanese/Korean patent machine translation (PatMT) benchmark with a four-dimensional evaluation protocol. The benchmark comprises 6,000 short-text (sentence/claim) and 6,000 long-text (paragraph) pairs, evenly split across three language pairs and both translation directions, built via IPC-section-stratified sampling and dualthreshold quality gating from upstream patent-family parallel corpora. The evaluation protocol spans literal n-gram overlap (BLEU, ROUGE-L, chrF), cross-lingual semantic textual similarity (CLSTS), 38-probe-language consistency testing, and serving performance under concurrency. A case study on PatMT2-7B and its fp8/AWQ4/AutoRound-4bit variants reveals direction-dependent quantization effects masked by aggregate scores and non-monotonic language-failure patterns across quantization schemes that are invisible to single-metric evaluation. We plan to release the benchmark, protocol, and case-study results upon publication to support reproducible PatMT evaluation.
- Abstract（参考訳）: 提案するPatTransBenchは,4次元評価プロトコルを用いた12,000石の中国語/英語/日本語/韓国語特許機械翻訳(PatMT)ベンチマークである。
このベンチマークは、6000の短文(文/表現)と6000の長文(パラグラフ)のペアで構成され、3つの言語対と2つの翻訳方向を均等に分ける。
評価プロトコルは、リテラルn-gramオーバーラップ(BLEU, ROUGE-L, chrF)、言語間セマンティックテキスト類似性(CLSTS)、38-probe-lang整合性テスト、同時実行時のパフォーマンスを提供する。
PatMT2-7Bとそのfp8/AWQ4/AutoRound-4bit変異体に関するケーススタディでは、集合スコアと単調でない言語障害パターンによって隠蔽される方向依存的な量子化効果が、単メートル評価に見えない量子化スキームにまたがって示される。
我々は,再現可能なPatMT評価をサポートするために,ベンチマーク,プロトコル,ケーススタディの成果を出版時に公開する計画である。
関連論文リスト
- BranchShine-CR: Compact Multilingual IPA Transcription with Self-Conditioned CTC and Consistency Regularization [0.8999666725996976]
BranchShine-CRは国際音声アルファベット(IPA)への多言語転写のための25Mパラメータモデルである
16,646 の IPApack++ テスト発話では、4.47% の IPA 文字誤り率を実現している。
これらの知見は、低リソースオンデバイス発音評価への応用において、限られた計算予算下でのコンパクトIPA認識機能をサポートする。
論文 参考訳（メタデータ） (2026-09-24T05:58:17Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following [20.104094920745315]
従来のメトリクスは意味的忠実さを捉えるが、制約の順守についての信号はほとんど提供しない。
7つの言語に従う多言語翻訳のベンチマークであるベンチを導入する。
論文 参考訳（メタデータ） (2026-05-27T09:35:27Z) - XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳（メタデータ） (2026-04-16T12:27:10Z) - Decomposed Prompting for Machine Translation Between Related Languages
using Large Language Models [55.35106713257871]
DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。
DecoMTはBLOOMモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-22T14:52:47Z) - On the Limitations of Cross-lingual Encoders as Exposed by
Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。
本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。
事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。
参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文 参考訳（メタデータ） (2020-05-03T22:10:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。