論文の概要: Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing

• arxiv url: http://arxiv.org/abs/2606.15483v1
• Date: Sat, 13 Jun 2026 21:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.650924
• Title: Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing
• Title（参考訳）: AIを用いた翻訳教育における評価的判断--AIを用いた翻訳と後編集を事例として
• Authors: Gokhan Dogru,
• Abstract要約: 本稿では,BAレベルの翻訳プログラムにおける4年間の機械翻訳・後編集コースから,23名の匿名化学生のプロジェクトを抽出する。 学生は短い英語のウィキペディアのテキストをカタルーニャ語またはスペイン語に翻訳し、4つのシステムアウトプットを生成し、自動メトリクスと人間のアダクシー/頻度アセスメントを使用して評価し、ポスト編集のために1つのアウトプットを選択し、レポートにその決定を正当化した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Drawing on 23 anonymized student pro-jects from a fourth-year Machine Transla-tion and Post-editing course in a BA-level translation programme, this paper exam-ines how structured comparison of gen-eral-purpose LLMs and online MT sys-tems can elicit evaluative judgement in AI-mediated translation. Students translat-ed short specialised English Wikipedia texts into Catalan or Spanish, generated four system outputs, evaluated them using automatic metrics and human adequa-cy/fluency assessment, selected one output for post-editing, and justified their deci-sion in written reports. Descriptive counts are reported for all 23 projects, while qualitative interpretation is based on the 22 cases accompanied by written reports. Results show that students did not treat automatic metrics as final authority: final post-editing selections often diverged from metric rankings and were justified through adequacy, fluency, terminology, naturalness, and expected post-editing ef-fort. The study therefore does not bench-mark systems under controlled conditions; it analyses how students justified system choice within an authentic classroom as-signment.
• Abstract（参考訳）: BAレベルの翻訳プログラムにおける4年間の機械翻訳・後編集コースから23の匿名化学生用プロジェクトを描画し、ジェネラル目的LLMとオンラインMTサイステムの構造化比較がAIによる翻訳における評価判断をいかに引き出すかを検証する。 学生は英語のウィキペディアの短いテキストをカタルーニャ語やスペイン語に翻訳し、4つのシステムアウトプットを生成し、自動メトリクスと人間のアクアサイ/頻度アセスメントを用いて評価し、ポスト編集のために1つのアウトプットを選択し、レポートにその決定を正当化した。 説明的数は23のプロジェクトすべてで報告され、質的な解釈は22のケースで報告されている。 その結果、学生は自動測定を最終的な権威として扱わなかったことが明らかとなった。最終編集後選択は、しばしばメートル法から分岐し、適切性、流布性、用語、自然性、予測された編集後評価によって正当化された。 本研究は, 制御条件下でのベンチマークシステムとは関係なく, 学生が学級指定におけるシステム選択を正当化する方法を分析した。

関連論文リスト

• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations [9.275967682881944]
  本稿では,大言語モデルが言語シボレスにどう反応するかを評価するための総合的なベンチマークを提案する。 等価な内容の質にもかかわらず,LLMが言語パターン,特にヘッジ言語を体系的にペナルティ化する方法を実証する。 我々は,複数の言語的側面に沿ったアプローチを検証し,ヘッジドレスポンスが平均25.6%低い評価を受けることを示した。
  論文  参考訳（メタデータ） (2025-08-06T23:51:03Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• QE4PE: Word-level Quality Estimation for Human Post-Editing [17.17222014168155]
  本研究は,42名のプロフェッショナル・ポストエディターを含む現実的な環境下で,単語レベルのQEが機械翻訳後編集に与える影響について検討する。 我々は、最先端のニューラルMTモデルの出力における潜在的なエラーを特定するために、教師付きおよび不確実性に基づく単語レベルQE法を含む4つのエラーパンハイライトモードを比較した。 ドメイン,言語,編集者の速度は,人造QEと自動QEの微妙な差異を伴って,ハイライトの有効性を決定する上で重要な要素であることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T22:50:17Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。