論文の概要: Identifying Context-Dependent Translations for Evaluation Set Production
- arxiv url: http://arxiv.org/abs/2311.02321v1
- Date: Sat, 4 Nov 2023 04:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 18:23:44.430722
- Title: Identifying Context-Dependent Translations for Evaluation Set Production
- Title（参考訳）: 評価集合生成のための文脈依存翻訳の同定
- Authors: Rachel Wicks, Matt Post
- Abstract要約: 文脈対応機械翻訳への移行に対する大きな障害は、優れた評価指標とテストセットがないことである。
我々は,5つの現象を翻訳するために文脈を必要とする文を含む並列文書のサブセットを識別するツールであるCTXPROを開発した。
パイプラインへの入力は、文脈的な文ペアを選択する手作り、言語ごと、言語的にインフォームドされたルールのセットである。
- 参考スコア（独自算出の注目度）: 11.543673351369183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A major impediment to the transition to context-aware machine translation is
the absence of good evaluation metrics and test sets. Sentences that require
context to be translated correctly are rare in test sets, reducing the utility
of standard corpus-level metrics such as COMET or BLEU. On the other hand,
datasets that annotate such sentences are also rare, small in scale, and
available for only a few languages. To address this, we modernize, generalize,
and extend previous annotation pipelines to produce CTXPRO, a tool that
identifies subsets of parallel documents containing sentences that require
context to correctly translate five phenomena: gender, formality, and animacy
for pronouns, verb phrase ellipsis, and ambiguous noun inflections. The input
to the pipeline is a set of hand-crafted, per-language, linguistically-informed
rules that select contextual sentence pairs using coreference, part-of-speech,
and morphological features provided by state-of-the-art tools. We apply this
pipeline to seven languages pairs (EN into and out-of DE, ES, FR, IT, PL, PT,
and RU) and two datasets (OpenSubtitles and WMT test sets), and validate its
performance using both overlap with previous work and its ability to
discriminate a contextual MT system from a sentence-based one. We release the
CTXPRO pipeline and data as open source.
- Abstract（参考訳）: 文脈対応機械翻訳への移行の大きな障害は、優れた評価指標とテストセットがないことである。
文脈を正しく翻訳する必要がある文はテストセットでは稀であり、cometやbleuのような標準コーパスレベルのメトリクスの有用性が低下する。
一方、このような文に注釈を付けるデータセットも稀で、規模が小さく、いくつかの言語でしか利用できない。
これに対処するために、従来のアノテーションパイプラインの近代化、一般化、拡張を行い、代名詞、動詞句の楕円、曖昧な名詞の変形の5つの現象を正しく翻訳するコンテキストを必要とする文を含む並列文書のサブセットを識別するツールであるctxproを作成した。
パイプラインへの入力は、手作り、言語ごと、言語的にインフォームドされたルールのセットであり、コア参照、パート・オブ・音声、そして最先端ツールによって提供される形態的特徴を用いて文脈的な文対を選択する。
このパイプラインを、7つの言語ペア(EN into and out-of DE, ES, FR, IT, PL, PT, RU)と2つのデータセット(OpenSubtitlesとWMTテストセット)に適用し、その性能を従来の作業と重なり合い、文脈的MTシステムを文ベースシステムと区別する能力の両方を用いて検証する。
我々はCTXPROパイプラインとデータをオープンソースとしてリリースする。
関連論文リスト
- Pipeline and Dataset Generation for Automated Fact-checking in Almost
Any Language [0.0]
本稿では,公開言語モデルとデータを活用したファクトチェック自動化パイプラインを提案する。
パイプラインは,エビデンス検索とクレームの妥当性評価という,2つの主要なモジュールで構成されている。
チェコ語、英語、ポーランド語、スロバキア語パイプラインのすべてのデータと微調整されたモデルにオープンアクセスを提供しています。
論文 参考訳（メタデータ） (2023-12-15T19:43:41Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳（メタデータ） (2023-05-18T17:36:41Z) - Are the Best Multilingual Document Embeddings simply Based on Sentence
Embeddings? [18.968571816913208]
本稿では,LASER,LaBSE,Sentence BERTを事前学習した多言語モデルに基づく文から文書レベルの表現を生成する手法を体系的に比較する。
文の埋め込みの巧妙な組み合わせは、通常、全文書を単一の単位としてエンコードするよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-28T12:11:21Z) - Statistical Machine Translation for Indic Languages [1.8899300124593648]
本稿では,バイリンガル統計機械翻訳モデルの開発について論じる。
このシステムを構築するために,MOSES オープンソース SMT ツールキットについて検討した。
本実験では, BLEU, METEOR, RIBESなどの標準指標を用いて, 翻訳の質を評価する。
論文 参考訳（メタデータ） (2023-01-02T06:23:12Z) - Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。
大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。
本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
論文 参考訳（メタデータ） (2022-12-14T13:41:49Z) - When Does Translation Require Context? A Data-driven, Multilingual
Exploration [71.43817945875433]
談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する
文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。
談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
論文 参考訳（メタデータ） (2021-09-15T17:29:30Z) - Sentiment-based Candidate Selection for NMT [2.580271290008534]
本稿では,機械翻訳(mt)候補選択プロセスに自動感情スコアを組み込むデコーダ側手法を提案する。
我々は、英語とスペイン語の感情分類器を訓練し、ビームサーチによるベースラインMTモデルによって生成されたn-best候補を用いて、原文の感情スコアと翻訳の絶対差を最小化する候補を選択する。
人間の評価結果から,パイプライン上に構築されたオープンソースのMTモデルと比較して,ベースライン翻訳は口語的,感情重大なソーステキストよりも正確であることが示唆された。
論文 参考訳（メタデータ） (2021-04-10T19:01:52Z) - Divide and Rule: Training Context-Aware Multi-Encoder Translation Models
with Little Resources [20.057692375546356]
マルチエンコーダモデルは、文書レベルのコンテキスト情報を現在の文と共にエンコードすることで、翻訳品質の向上を目指しています。
これらのパラメータのトレーニングは、コンテキストのトレーニング信号がスパースしているため、大量のデータを必要とする。
本稿では,並列文集合の訓練信号を豊かにするための,分割文対に基づく効率的な代替手法を提案する。
論文 参考訳（メタデータ） (2021-03-31T15:15:32Z) - Unsupervised Bitext Mining and Translation via Self-trained Contextual
Embeddings [51.47607125262885]
不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。
我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。
BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-10-15T14:04:03Z) - On the Limitations of Cross-lingual Encoders as Exposed by
Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。
本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。
事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。
参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文 参考訳（メタデータ） (2020-05-03T22:10:23Z) - Learning Contextualized Sentence Representations for Document-Level
Neural Machine Translation [59.191079800436114]
文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。
本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-30T03:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。