論文の概要: Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios
- arxiv url: http://arxiv.org/abs/2603.07372v1
- Date: Sat, 07 Mar 2026 22:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:14.388014
- Title: Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios
- Title(参考訳): 低リソースシナリオにおける機械翻訳のドメイン特質推定
- Authors: Namrata Patil Gurav, Akashdeep Ranu, Archchana Sindhujan, Diptesh Kanojia,
- Abstract要約: 本研究は,4つの領域(医療,法,観光,一般)と5つの言語対にわたる英語とインデックスの機械翻訳における文レベルQEについて検討する。
クローズドウェイトモデルが単独で強力なパフォーマンスを達成する一方で、プロンプトのみのアプローチはオープンウェイトモデルには脆弱なままである。
- 参考スコア(独自算出の注目度): 10.17317882426833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality Estimation (QE) is essential for assessing machine translation quality in reference-less settings, particularly for domain-specific and low-resource language scenarios. In this paper, we investigate sentence-level QE for English to Indic machine translation across four domains (Healthcare, Legal, Tourism, and General) and five language pairs. We systematically compare zero-shot, few-shot, and guideline-anchored prompting across selected closed-weight and open-weight LLMs. Findings indicate that while closed-weight models achieve strong performance via prompting alone, prompt-only approaches remain fragile for open-weight models, especially in high-risk domains. To address this, we adopt ALOPE, a framework for LLM-based QE that uses Low-Rank Adaptation with regression heads attached to selected intermediate Transformer layers. We also extend ALOPE with recently proposed Low-Rank Multiplicative Adaptation (LoRMA). Our results show that intermediate-layer adaptation consistently improves QE performance, with gains in semantically complex domains, indicating a path toward more robust QE in practical scenarios. We release code and domain-specific QE datasets publicly to support further research.
- Abstract(参考訳): 品質評価(QE)は、特にドメイン固有の低リソース言語シナリオにおいて、参照なしの設定における機械翻訳の品質を評価するために不可欠である。
本稿では,4つの領域(医療,法,観光,一般)と5つの言語対をまたいで,英語から英語への機械翻訳を行うための文レベルQEについて検討する。
我々は, ゼロショット, 少数ショット, ガイドラインアンコールを, 選択したクローズドウェイトおよびオープンウェイトLDM間で系統的に比較した。
クローズドウェイトモデルは単独で強力なパフォーマンスを達成するが、プロンプトのみのアプローチはオープンウェイトモデル、特にハイリスク領域では脆弱である。
そこで我々は,選択した中間トランスフォーマー層にレグレッションヘッドを付加した低ランク適応を用いたLLMベースのQEフレームワークであるALOPEを採用する。
また、最近提案したLo-Rank Multiplicative Adaptation (LoRMA)を用いてALOPEを拡張した。
この結果から, 中間層適応は, 意味論的に複雑な領域で向上し, 実用シナリオにおけるより堅牢なQEへの道筋を示すとともに, 連続的にQE性能を向上させることが示唆された。
コードとドメイン固有のQEデータセットを公開して、さらなる研究を支援します。
関連論文リスト
- Beyond Scalar Scores: Reinforcement Learning for Error-Aware Quality Estimation of Machine Translation [10.050982803590903]
品質評価は、参照翻訳に頼ることなく、機械翻訳(MT)出力の品質を評価することを目的としている。
重度リソース不足の言語ペアであるMalayalamに、英語のための最初のセグメントレベルQEデータセットを導入する。
ALOPE-RLは、効率的なアダプタを訓練するポリシーベースの強化学習フレームワークである。
論文 参考訳(メタデータ) (2026-02-09T12:42:41Z) - ALOPE: Adaptive Layer Optimization for Translation Quality Estimation using Large Language Models [8.518082319087375]
大規模言語モデル(LLM)は、幅広い自然言語処理タスクで顕著なパフォーマンスを示している。
QE for Machine Translation (MT)は、参照翻訳に頼ることなく、ソースとターゲットのペアの品質を評価する。
本稿では,LCMベースのQE向上を目的とした適応層最適化フレームワークであるALOPEを紹介する。
論文 参考訳(メタデータ) (2025-08-10T20:59:44Z) - Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation [55.73341401764367]
合成QEデータの分散シフトを緩和する新しいフレームワークであるDCSQEを紹介する。
DCSQEは、参照、すなわち翻訳監督信号を使用して、生成プロセスとアノテーションプロセスの両方をガイドする。
実験により、DCSQEは教師なし設定と教師なし設定の両方でSOTAベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2025-02-27T10:11:53Z) - When LLMs Struggle: Reference-less Translation Evaluation for Low-resource Languages [9.138590152838754]
セグメントレベルの品質評価(QE)は言語間理解の難しい課題である。
ゼロ/フェーショットシナリオにおいて,大規模言語モデル (LLM) を包括的に評価する。
この結果から,エンコーダを用いた微調整QEモデルでは,プロンプトベースアプローチの方が優れていたことが示唆された。
論文 参考訳(メタデータ) (2025-01-08T12:54:05Z) - Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。
性能ギャップを実証的に説明するための一連の実験を考案する。
論文 参考訳(メタデータ) (2024-09-27T05:06:43Z) - Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation [0.6998085564793366]
本研究は品質推定量(QE)を用いて翻訳を合成するQE融合を導入する。
提案手法は, 半数以上の症例において, 新規な翻訳を生成できることを実証する。
我々は、QE融合がプール内の候補数と線形にスケールすることを実証的に確立する。
論文 参考訳(メタデータ) (2024-01-12T16:52:41Z) - QAmeleon: Multilingual QA with Only 5 Examples [71.80611036543633]
数ショットの学習環境下で事前学習した言語モデルを利用する方法を示す。
我々のアプローチであるQAmeleonは、PLMを使用して、QAモデルをトレーニングした多言語データを自動的に生成する。
言語毎に5つの例しか持たないデータ合成のためにPLMをプロンプトチューニングすることで、翻訳ベースのベースラインよりも精度が向上する。
論文 参考訳(メタデータ) (2022-11-15T16:14:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。