論文の概要: Beyond General Purpose Machine Translation: The Need for
Context-specific Empirical Research to Design for Appropriate User Trust
- arxiv url: http://arxiv.org/abs/2205.06920v1
- Date: Fri, 13 May 2022 23:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 07:37:02.294361
- Title: Beyond General Purpose Machine Translation: The Need for
Context-specific Empirical Research to Design for Appropriate User Trust
- Title(参考訳): 汎用機械翻訳を超えて : 適切なユーザ信頼のためのコンテキスト特異的実証研究の必要性
- Authors: Wesley Hanwen Deng, Nikita Mehandru, Samantha Robertson, Niloufar
Salehi
- Abstract要約: 本稿では,機械翻訳システムにおける信頼性の校正を支援する研究の方向性について論じる。
本研究は,MTシステムの実用化に関する実証的研究を提唱する。
- 参考スコア(独自算出の注目度): 8.539683760001573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Translation (MT) has the potential to help people overcome language
barriers and is widely used in high-stakes scenarios, such as in hospitals.
However, in order to use MT reliably and safely, users need to understand when
to trust MT outputs and how to assess the quality of often imperfect
translation results. In this paper, we discuss research directions to support
users to calibrate trust in MT systems. We share findings from an empirical
study in which we conducted semi-structured interviews with 20 clinicians to
understand how they communicate with patients across language barriers, and if
and how they use MT systems. Based on our findings, we advocate for empirical
research on how MT systems are used in practice as an important first step to
addressing the challenges in building appropriate trust between users and MT
tools.
- Abstract(参考訳): 機械翻訳(MT)は、人々が言語障壁を克服するのに役立つ可能性があり、病院などのハイテイクなシナリオで広く利用されている。
しかし,MTを確実かつ安全に使用するためには,MT出力をいつ信頼するか,また不完全な翻訳結果の品質を評価する方法を理解する必要がある。
本稿では,MTシステムの信頼性の校正を支援する研究の方向性について論じる。
われわれは20人の臨床医と半構造化インタビューを行い、言語障壁を越えて患者とコミュニケーションし、MTシステムをどのように利用しているかを調べた。
本研究は,ユーザとMTツール間の適切な信頼を構築する上での課題に対処するための重要な第一歩として,MTシステムが実際にどのように利用されているかに関する実証的研究を提唱する。
関連論文リスト
- Improving Machine Translation with Large Language Models: A Preliminary
Study with Cooperative Decoding [78.66926087162672]
まず,MT 指向 LLM と MT 指向 LLM の長所と短所を総合的に解析し,その長所と短所について検討する。
これらの知見に基づいて,NMT システムを事前翻訳モデルとして,MT 指向 LLM を補足解として扱う Cooperative Decoding (CoDec) を提案する。
WMT22テストセットと新たに収集されたテストセットWebCrawlの結果は、CoDecの有効性と効率を実証している。
論文 参考訳(メタデータ) (2023-11-06T03:41:57Z) - Physician Detection of Clinical Harm in Machine Translation: Quality
Estimation Aids in Reliance and Backtranslation Identifies Critical Errors [27.13497855061732]
そこで本研究では,ハイテイクな医療環境における意思決定をシミュレーションしたヒト実験を用いて,生体内品質評価のフィードバックを評価する。
品質評価はMTへの適切な依存を改善するが、逆翻訳はQE単独で見逃されるより臨床的に有害なエラーを検出するのに役立つ。
論文 参考訳(メタデータ) (2023-10-25T18:44:14Z) - IMTLab: An Open-Source Platform for Building, Evaluating, and Diagnosing
Interactive Machine Translation Systems [94.39110258587887]
IMTLabは、オープンソースのエンドツーエンド対話型機械翻訳(IMT)システムプラットフォームである。
IMTLabは、対話的な翻訳プロセス全体を、ヒューマン・イン・ザ・ループ設定によるタスク指向の対話として扱う。
論文 参考訳(メタデータ) (2023-10-17T11:29:04Z) - Automating Behavioral Testing in Machine Translation [9.151054827967933]
本稿では,機械翻訳モデルの振る舞いをテストするために,大規模言語モデルを用いてソース文を生成することを提案する。
MTモデルが一致した候補集合を通して期待される振る舞いを示すかどうかを検証することができる。
本研究の目的は,人的労力を最小限に抑えながら,MTシステムの動作試験を実践することである。
論文 参考訳(メタデータ) (2023-09-05T19:40:45Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳(メタデータ) (2023-05-18T17:36:41Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳(メタデータ) (2022-12-20T14:39:58Z) - A Semi-supervised Approach for a Better Translation of Sentiment in
Dialectical Arabic UGT [2.6763498831034034]
NMTシステムのトレーニングにモノリンガルデータと並列データの両方を利用する半教師付きアプローチを導入する。
提案システムは,アラビア語の方言UGTのオンライン翻訳で検出された感情誤りの訂正に有効であることを示す。
論文 参考訳(メタデータ) (2022-10-21T11:55:55Z) - Self-Supervised Knowledge Assimilation for Expert-Layman Text Style
Transfer [63.72621204057025]
エキスパート・レイマン・テキスト・スタイル・トランスファー技術は、科学コミュニティと一般大衆とのコミュニケーションを改善する可能性がある。
専門家が生み出す高品質な情報は、しばしば難しいジャーゴンの平民が理解するのに苦労している。
これは医療分野において特に顕著な問題であり、レイマンはしばしばオンラインの医療テキストに混同される。
論文 参考訳(メタデータ) (2021-10-06T17:57:22Z) - Difficulty-Aware Machine Translation Evaluation [19.973201669851626]
本稿では,新しい難易度対応機械翻訳評価指標を提案する。
ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。
提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
論文 参考訳(メタデータ) (2021-07-30T02:45:36Z) - Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。
MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。
我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
論文 参考訳(メタデータ) (2020-05-21T12:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。