Fugu-MT 論文翻訳(概要): TeCS: A Dataset and Benchmark for Tense Consistency of Machine Translation

論文の概要: TeCS: A Dataset and Benchmark for Tense Consistency of Machine Translation

arxiv url: http://arxiv.org/abs/2305.13740v1
Date: Tue, 23 May 2023 06:51:48 GMT
ステータス: 処理完了
システム内更新日: 2023-05-24 18:23:07.403895
Title: TeCS: A Dataset and Benchmark for Tense Consistency of Machine Translation
Title（参考訳）: TeCS: 機械翻訳のテンス一貫性のためのデータセットとベンチマーク
Authors: Yiming Ai, Zhiwei He, Kai Yu, Rui Wang
Abstract要約: フランス語と英語の552発話を含む並列時制テストセットを提案する。また、対応するベンチマーク、時制予測精度も導入する。
参考スコア（独自算出の注目度）: 19.363625912617913
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Tense inconsistency frequently occurs in machine translation. However, there are few criteria to assess the model's mastery of tense prediction from a linguistic perspective. In this paper, we present a parallel tense test set, containing French-English 552 utterances. We also introduce a corresponding benchmark, tense prediction accuracy. With the tense test set and the benchmark, researchers are able to measure the tense consistency performance of machine translation systems for the first time.
Abstract（参考訳）: テンスの不整合はしばしば機械翻訳で起こる。しかし、言語学的観点から、モデルの時制予測の熟達を評価するための基準は少ない。本稿では,フランス語の552発話を含む並列時制テストセットを提案する。また、対応するベンチマーク、テンス予測精度も導入する。テンステストセットとベンチマークによって、研究者は初めて機械翻訳システムのテンス一貫性のパフォーマンスを測定することができる。

関連論文リスト

Predicting Word Similarity in Context with Referential Translation Machines [0.0]
タスクを機械翻訳性能予測(MTPP)としてキャストすることで、英語の2単語間の類似性を識別する。我々は、トレーニングとテストセットの共通表現を可能にするレファレンシャル翻訳機械(RTM)を使用している。 RTMは、グレードドドワード類似性(GWSC)タスクの上位結果を達成することができる。
論文参考訳（メタデータ） (2024-07-07T09:36:41Z)
Evaluating Automatic Metrics with Incremental Machine Translation Systems [55.78547133890403]
商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
論文参考訳（メタデータ） (2024-07-03T17:04:17Z)
Word Order in English-Japanese Simultaneous Interpretation: Analyses and Evaluation using Chunk-wise Monotonic Translation [13.713981533436135]
本稿では,ソース言語の単語順に従う単調翻訳の特徴を同時解釈(SI)で解析する。 NAIST英語と日本語の単調翻訳評価データセットを用いて,チャンクワイド単調翻訳(CMT)文の特徴を解析した。さらに,既存の音声翻訳(ST)と同時音声翻訳(simulST)モデルからの出力を評価し,CMT文の特徴について検討した。
論文参考訳（メタデータ） (2024-06-13T09:10:16Z)
Measuring Sentiment Bias in Machine Translation [1.567333808864147]
生成モデルによってテキストに誘導されるバイアスは、近年ますます大きな話題となっている。 2つの並列コーパス上の5つの異なる言語に対する3つのオープンアクセス機械翻訳モデルを比較した。我々の統計テストはラベルの確率分布の変化を示しているが、翻訳プロセスによって引き起こされるバイアスを仮定するのに十分な一貫性があるように見えるものは見つからない。
論文参考訳（メタデータ） (2023-06-12T14:40:29Z)
Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文参考訳（メタデータ） (2022-12-20T14:39:58Z)
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
論文参考訳（メタデータ） (2022-10-01T05:02:04Z)
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
論文参考訳（メタデータ） (2022-09-13T02:37:12Z)
Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
整合性正規化による言語間微調整の改善を提案する。具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。 XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
論文参考訳（メタデータ） (2021-06-15T15:35:44Z)
Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文参考訳（メタデータ） (2020-10-26T13:57:20Z)
Robust Neural Machine Translation: Modeling Orthographic and Interpunctual Variation [3.3194866396158]
そこで本研究では,10種類の逆例を生成するための簡易な生成ノイズモデルを提案する。ノイズの多いデータでテストすると、敵の例を使って訓練されたシステムは、クリーンなデータを翻訳するのと同様に、ほぼ同等に機能することを示す。
論文参考訳（メタデータ） (2020-09-11T14:12:54Z)
Preparation of Sentiment tagged Parallel Corpus and Testing its effect on Machine Translation [12.447116722795899]
本稿では,英語・ベンガル語並列コーパスをタグ付けした同じ感情の調製について論じる。翻訳モデルの出力はBLEUやTERなどの自動メトリクスを用いたベースライン翻訳モデルと比較されている。
論文参考訳（メタデータ） (2020-07-28T09:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。