論文の概要: Beyond General Purpose Machine Translation: The Need for
Context-specific Empirical Research to Design for Appropriate User Trust
- arxiv url: http://arxiv.org/abs/2205.06920v1
- Date: Fri, 13 May 2022 23:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 07:37:02.294361
- Title: Beyond General Purpose Machine Translation: The Need for
Context-specific Empirical Research to Design for Appropriate User Trust
- Title(参考訳): 汎用機械翻訳を超えて : 適切なユーザ信頼のためのコンテキスト特異的実証研究の必要性
- Authors: Wesley Hanwen Deng, Nikita Mehandru, Samantha Robertson, Niloufar
Salehi
- Abstract要約: 本稿では,機械翻訳システムにおける信頼性の校正を支援する研究の方向性について論じる。
本研究は,MTシステムの実用化に関する実証的研究を提唱する。
- 参考スコア(独自算出の注目度): 8.539683760001573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Translation (MT) has the potential to help people overcome language
barriers and is widely used in high-stakes scenarios, such as in hospitals.
However, in order to use MT reliably and safely, users need to understand when
to trust MT outputs and how to assess the quality of often imperfect
translation results. In this paper, we discuss research directions to support
users to calibrate trust in MT systems. We share findings from an empirical
study in which we conducted semi-structured interviews with 20 clinicians to
understand how they communicate with patients across language barriers, and if
and how they use MT systems. Based on our findings, we advocate for empirical
research on how MT systems are used in practice as an important first step to
addressing the challenges in building appropriate trust between users and MT
tools.
- Abstract(参考訳): 機械翻訳(MT)は、人々が言語障壁を克服するのに役立つ可能性があり、病院などのハイテイクなシナリオで広く利用されている。
しかし,MTを確実かつ安全に使用するためには,MT出力をいつ信頼するか,また不完全な翻訳結果の品質を評価する方法を理解する必要がある。
本稿では,MTシステムの信頼性の校正を支援する研究の方向性について論じる。
われわれは20人の臨床医と半構造化インタビューを行い、言語障壁を越えて患者とコミュニケーションし、MTシステムをどのように利用しているかを調べた。
本研究は,ユーザとMTツール間の適切な信頼を構築する上での課題に対処するための重要な第一歩として,MTシステムが実際にどのように利用されているかに関する実証的研究を提唱する。
関連論文リスト
- Low-resource Machine Translation: what for? who for? An observational study on a dedicated Tetun language translation service [31.883641424813245]
我々は,Timor-Lesteのリンガ・フランカであるTetunについて,実世界のMT利用の観察分析を行った。
10万ドルの翻訳要求を分析してみると、既存のコーパスに基づいて仮定に挑戦するパターンが明らかになる。
論文 参考訳(メタデータ) (2024-11-19T06:21:51Z) - Evaluating Automatic Metrics with Incremental Machine Translation Systems [55.78547133890403]
商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。
商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
論文 参考訳(メタデータ) (2024-07-03T17:04:17Z) - Cyber Risks of Machine Translation Critical Errors : Arabic Mental Health Tweets as a Case Study [3.8779763612314637]
本稿では,MTの共通利用に関わる倫理的・安全性上の問題に言及するために,機械翻訳クリティカルエラーの真正データセットを提案する。
このデータセットは、重要なエラータイプを手動で注釈付けしたアラビアのメンタルヘルスポストの誤訳を含む。
また、一般的に使われている品質指標が重大なエラーをペナルティにしないことを示すとともに、研究者のさらなる注意を喚起する重要な問題として強調する。
論文 参考訳(メタデータ) (2024-05-19T20:24:51Z) - IMTLab: An Open-Source Platform for Building, Evaluating, and Diagnosing
Interactive Machine Translation Systems [94.39110258587887]
IMTLabは、オープンソースのエンドツーエンド対話型機械翻訳(IMT)システムプラットフォームである。
IMTLabは、対話的な翻訳プロセス全体を、ヒューマン・イン・ザ・ループ設定によるタスク指向の対話として扱う。
論文 参考訳(メタデータ) (2023-10-17T11:29:04Z) - Automating Behavioral Testing in Machine Translation [9.151054827967933]
本稿では,機械翻訳モデルの振る舞いをテストするために,大規模言語モデルを用いてソース文を生成することを提案する。
MTモデルが一致した候補集合を通して期待される振る舞いを示すかどうかを検証することができる。
本研究の目的は,人的労力を最小限に抑えながら,MTシステムの動作試験を実践することである。
論文 参考訳(メタデータ) (2023-09-05T19:40:45Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳(メタデータ) (2023-05-18T17:36:41Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳(メタデータ) (2022-12-20T14:39:58Z) - Self-Supervised Knowledge Assimilation for Expert-Layman Text Style
Transfer [63.72621204057025]
エキスパート・レイマン・テキスト・スタイル・トランスファー技術は、科学コミュニティと一般大衆とのコミュニケーションを改善する可能性がある。
専門家が生み出す高品質な情報は、しばしば難しいジャーゴンの平民が理解するのに苦労している。
これは医療分野において特に顕著な問題であり、レイマンはしばしばオンラインの医療テキストに混同される。
論文 参考訳(メタデータ) (2021-10-06T17:57:22Z) - Difficulty-Aware Machine Translation Evaluation [19.973201669851626]
本稿では,新しい難易度対応機械翻訳評価指標を提案する。
ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。
提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
論文 参考訳(メタデータ) (2021-07-30T02:45:36Z) - Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。
MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。
我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
論文 参考訳(メタデータ) (2020-05-21T12:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。