論文の概要: KoBE: Knowledge-Based Machine Translation Evaluation

• arxiv url: http://arxiv.org/abs/2009.11027v1
• Date: Wed, 23 Sep 2020 09:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 16:02:16.214097
• Title: KoBE: Knowledge-Based Machine Translation Evaluation
• Title（参考訳）: KoBE:知識に基づく機械翻訳評価
• Authors: Zorik Gekhman, Roee Aharoni, Genady Beryozkin, Markus Freitag, Wolfgang Macherey
• Abstract要約: 本稿では,参照翻訳を必要としない機械翻訳評価の簡易かつ効果的な手法を提案する。 提案手法は,(1) ソース文中のエンティティの言及と,(2) 大規模多言語知識ベースに対する候補翻訳,(2) ソースに含まれるエンティティのリコールを測定することに基づく。
• 参考スコア（独自算出の注目度）: 20.629986034151344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a simple and effective method for machine translation evaluation which does not require reference translations. Our approach is based on (1) grounding the entity mentions found in each source sentence and candidate translation against a large-scale multilingual knowledge base, and (2) measuring the recall of the grounded entities found in the candidate vs. those found in the source. Our approach achieves the highest correlation with human judgements on 9 out of the 18 language pairs from the WMT19 benchmark for evaluation without references, which is the largest number of wins for a single evaluation method on this task. On 4 language pairs, we also achieve higher correlation with human judgements than BLEU. To foster further research, we release a dataset containing 1.8 million grounded entity mentions across 18 language pairs from the WMT19 metrics track data.
• Abstract（参考訳）: 本稿では,参照翻訳を必要としない機械翻訳評価の簡易かつ効果的な手法を提案する。 本手法は,(1)多言語多言語知識ベースに対して,各文に含まれるエンティティ参照と候補翻訳を接地すること,(2)候補に含まれるエンティティのリコールを測定することに基づく。 提案手法は,参照のない評価のためのWMT19ベンチマークから,18言語対のうち9言語対のうち9言語に対する人間の判断との相関が最大である。 4つの言語ペアにおいて,人間の判断とbleuよりも高い相関が得られた。 さらなる研究を促進するために、WMT19メトリクス追跡データから18言語対にわたる180万の基底エンティティの言及を含むデータセットをリリースする。

関連論文リスト

• MELO: An Evaluation Benchmark for Multilingual Entity Linking of Occupations [0.5528844566370006]
  本稿では,21言語におけるエンティティ参照とESCO Occupations分類とのリンクを評価するために,48のデータセットのコレクションを新たに提示する。 MELOは高品質で既存の人間のアノテーションを使って構築された。
  論文  参考訳（メタデータ） (2024-10-10T19:14:54Z)
• Finding Replicable Human Evaluations via Stable Ranking Probability [28.87806354986128]
  我々は、機械翻訳とその最先端の人的評価フレームワークMQMをケーススタディとして、信頼性の高い人的評価の設定方法を理解するために使用しています。 2つの言語対に関する研究は、再現性のある人間の評価研究を設計するための具体的な勧告を提供する。
  論文  参考訳（メタデータ） (2024-04-01T20:50:13Z)
• Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
  そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。 我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。 フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
  論文  参考訳（メタデータ） (2024-03-25T14:46:51Z)
• SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation [52.186343500576214]
  本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。 SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。 本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-22T16:25:07Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Majority Voting with Bidirectional Pre-translation For Bitext Retrieval [2.580271290008534]
  一般的なアプローチは、2つの言語でペアの文書からいわゆる"pseudo-parallel"文をマイニングすることであった。 本稿では,現状の手法による問題を概説し,それらの問題に対する計算経済的解決策を提案し,新しい手法による成功を実証する。 実験に使用されるコードとデータは公開されています。
  論文  参考訳（メタデータ） (2021-03-10T22:24:01Z)
• Facebook AI's WMT20 News Translation Task Submission [69.92594751788403]
  本稿では、Facebook AIによるWMT20共有ニュース翻訳タスクの提出について述べる。 資源設定の低さに着目し,タミル語-英語とイヌクティトゥット語-英語の2つの言語ペアに参加する。 我々は、利用可能なデータをすべて活用し、ターゲットのニュースドメインにシステムを適用するという、2つの主要な戦略を用いて、低リソース問題にアプローチする。
  論文  参考訳（メタデータ） (2020-11-16T21:49:00Z)
• Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing [11.564158965143418]
  我々は,機械翻訳評価の課題を,シーケンス・ツー・シーケンス・パラフレーズを用いたスコアリング機械翻訳出力の1つとして捉えた。 我々は,パラフレーズ処理をゼロショット翻訳タスクとして扱う多言語NMTシステムとして,パラフレーズを訓練することを提案する。 我々の手法は単純で直感的で、訓練には人間の判断を必要としない。
  論文  参考訳（メタデータ） (2020-04-30T03:32:34Z)
• Practical Comparable Data Collection for Low-Resource Languages via Images [126.64069379167975]
  本稿では,モノリンガルアノテータを用いた低リソース言語のための高品質な同等のトレーニングデータをキュレートする手法を提案する。 本手法では, ソースとターゲット言語間のピボットとして, 慎重に選択した画像の集合を用いて, 両方の言語でその画像のキャプションを独立に取得する。 本手法で作成した英ヒンディー語対応コーパスの人間による評価では、対の81.1%が許容される翻訳であり、対の2.47%が全く翻訳ではない。
  論文  参考訳（メタデータ） (2020-04-24T19:30:38Z)
• Improving Candidate Generation for Low-resource Cross-lingual Entity Linking [81.41804263432684]
  XEL(クロスランガル・エンティティ・リンク)は、ソース言語テキストから抽出された参照をターゲット言語知識ベース(KB)で検索するタスクである。 本稿では,(1)エンティティ参照とKBエントリの切断を減らすこと,(2)低リソースシナリオへのモデルの堅牢性を改善すること,の3つの改良を提案する。
  論文  参考訳（メタデータ） (2020-03-03T05:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。