論文の概要: Beyond Human-Only: Evaluating Human-Machine Collaboration for Collecting High-Quality Translation Data

• arxiv url: http://arxiv.org/abs/2410.11056v1
• Date: Mon, 14 Oct 2024 20:02:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:53.425812
• Title: Beyond Human-Only: Evaluating Human-Machine Collaboration for Collecting High-Quality Translation Data
• Title（参考訳）: ヒューマンオンリーを超えて:高品質な翻訳データ収集のための人間と機械のコラボレーションの評価
• Authors: Zhongtao Liu, Parker Riley, Daniel Deutsch, Alison Lui, Mengmeng Niu, Apu Shah, Markus Freitag,
• Abstract要約: 人間と機械のコラボレーションは、人間のみの翻訳の質にマッチしたり、超えたりすることができる。 いくつかのアプローチは、従来の手法のコストの約60%でトップレベルの品質を達成する。
• 参考スコア（独自算出の注目度）: 21.73657162698123
• License:
• Abstract: Collecting high-quality translations is crucial for the development and evaluation of machine translation systems. However, traditional human-only approaches are costly and slow. This study presents a comprehensive investigation of 11 approaches for acquiring translation data, including human-only, machineonly, and hybrid approaches. Our findings demonstrate that human-machine collaboration can match or even exceed the quality of human-only translations, while being more cost-efficient. Error analysis reveals the complementary strengths between human and machine contributions, highlighting the effectiveness of collaborative methods. Cost analysis further demonstrates the economic benefits of human-machine collaboration methods, with some approaches achieving top-tier quality at around 60% of the cost of traditional methods. We release a publicly available dataset containing nearly 18,000 segments of varying translation quality with corresponding human ratings to facilitate future research.
• Abstract（参考訳）: 機械翻訳システムの開発と評価には高品質な翻訳の収集が不可欠である。 しかし、従来の人間のみのアプローチは高価で遅い。 本研究では、人間のみ、機械のみ、ハイブリッドなど、翻訳データを取得する11のアプローチについて包括的に調査する。 以上の結果から,人間と機械の協調作業は,よりコスト効率が高く,人間のみの翻訳の質と一致したり,超えたりする可能性が示唆された。 エラー分析は、人間と機械のコントリビューションの相補的な強みを明らかにし、協調手法の有効性を強調している。 コスト分析は、従来の手法のコストの約60%でトップレベルの品質を達成するアプローチによって、人間と機械の協調手法の経済的メリットをさらに示している。 我々は,翻訳品質の異なる約18,000のセグメントを含む公開データセットを公開し,それに対応する人間による評価を行い,今後の研究を促進する。

関連論文リスト

• Advancing Translation Preference Modeling with RLHF: A Step Towards Cost-Effective Solution [57.42593422091653]
  人間のフィードバックによる強化学習の活用による翻訳品質の向上について検討する。 強力な言語能力を持つ報酬モデルは、翻訳品質の微妙な違いをより敏感に学習することができる。
  論文  参考訳（メタデータ） (2024-02-18T09:51:49Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Iterative Translation Refinement with Large Language Models [25.90607157524168]
  本稿では,翻訳を自己修正するために,大規模言語モデルを反復的に提案する。 また,評価における課題と,人間のパフォーマンスと翻訳との関係についても論じる。
  論文  参考訳（メタデータ） (2023-06-06T16:51:03Z)
• The Best of Both Worlds: Combining Human and Machine Translations for Multilingual Semantic Parsing with Active Learning [50.320178219081484]
  人文翻訳と機械翻訳の両方の長所を生かした能動的学習手法を提案する。 理想的な発話選択は、翻訳されたデータの誤りとバイアスを著しく低減することができる。
  論文  参考訳（メタデータ） (2023-05-22T05:57:47Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• Consistent Human Evaluation of Machine Translation across Language Pairs [21.81895199744468]
  本稿では, 意味的等価性に着目したXSTSと呼ばれる新しい計量法と, 言語間キャリブレーション法を提案する。 最大14言語対にわたる大規模評価研究において,これらの新規貢献の有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-17T17:57:06Z)
• Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation [19.116396693370422]
  本稿では,多次元品質指標フレームワークに基づく明示的誤り分析に基づく評価手法を提案する。 我々はこれまでで最大のMQM研究を行い、WMT 2020の共通タスクから上位システムの出力を2つの言語ペアで評価した。 得られたデータを広範囲に分析し,wmtの群集作業員が確立したシステムとは,評価システムのランキングが実質的に異なる点を見出した。
  論文  参考訳（メタデータ） (2021-04-29T16:42:09Z)
• Quality Estimation without Human-labeled Data [25.25993509174361]
  品質評価は、参照翻訳にアクセスすることなく、翻訳されたコンテンツの質を測定することを目的としている。 本稿では,人間アノテーションの例に頼らず,合成学習データを用いた手法を提案する。 合成データの品質評価を教師するオフ・ザ・シェルフアーキテクチャをトレーニングし、結果として得られたモデルが、人間の注釈付きデータに基づいてトレーニングされたモデルに匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-02-08T06:25:46Z)
• A Set of Recommendations for Assessing Human-Machine Parity in Language Translation [87.72302201375847]
  我々は、ハサンらの中国語から英語への翻訳調査を再評価する。 専門家による翻訳では誤りが著しく少なかった。
  論文  参考訳（メタデータ） (2020-04-03T17:49:56Z)
• Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks [0.30458514384586394]
  本稿では,人間の翻訳品質の自動推定にDeep Learning法を用いる方法について検討する。 大規模な人間の注釈付きデータセットの実証結果は、ニューラルモデルが特徴に基づく手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-03-13T16:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。