論文の概要: English Please: Evaluating Machine Translation for Multilingual Bug Reports

• arxiv url: http://arxiv.org/abs/2502.14338v2
• Date: Tue, 04 Mar 2025 23:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 17:18:40.508992
• Title: English Please: Evaluating Machine Translation for Multilingual Bug Reports
• Title（参考訳）: 英語:Multilingual Bug Reportsにおける機械翻訳の評価
• Authors: Avinash Patil, Aryan Jadon,
• Abstract要約: 本研究は,バグ報告における機械翻訳(MT)性能の総合評価としては初めてである。 我々は、BLEU、BERTScore、COMET、METEOR、ROUGEなど、複数の機械翻訳メトリクスを使用している。 DeepLは一貫して他のシステムより優れており、強い語彙的および意味的なアライメントを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate translation of bug reports is critical for efficient collaboration in global software development. In this study, we conduct the first comprehensive evaluation of machine translation (MT) performance on bug reports, analyzing the capabilities of DeepL, AWS Translate, and ChatGPT using data from the Visual Studio Code GitHub repository, specifically focusing on reports labeled with the english-please tag. To thoroughly assess the accuracy and effectiveness of each system, we employ multiple machine translation metrics, including BLEU, BERTScore, COMET, METEOR, and ROUGE. Our findings indicate that DeepL consistently outperforms the other systems across most automatic metrics, demonstrating strong lexical and semantic alignment. AWS Translate performs competitively, particularly in METEOR, while ChatGPT lags in key metrics. This study underscores the importance of domain adaptation for translating technical texts and offers guidance for integrating automated translation into bug-triaging workflows. Moreover, our results establish a foundation for future research to refine machine translation solutions for specialized engineering contexts. The code and dataset for this paper are available at GitHub: https://github.com/av9ash/gitbugs/tree/main/multilingual.
• Abstract（参考訳）: バグレポートの正確な翻訳は、グローバルソフトウェア開発における効率的なコラボレーションに不可欠である。 本研究では、DeepL、AWS Translate、ChatGPTの機能をVisual Studio Code GitHubリポジトリのデータを用いて分析し、バグレポートに対する機械翻訳(MT)のパフォーマンスを総合的に評価する。 各システムの精度と有効性を徹底的に評価するために,BLEU,BERTScore,COMET,METEOR,ROUGEなど複数の機械翻訳指標を用いる。 以上の結果から,DeepLは,ほとんどの自動測定値において,他のシステムよりも一貫して優れており,語彙的,セマンティックなアライメントが強いことが示唆された。 AWS Translateは特にMETEORで、ChatGPTは主要なメトリクスで遅延する。 本研究は、技術的テキストの翻訳におけるドメイン適応の重要性を強調し、自動翻訳をバグ処理ワークフローに統合するためのガイダンスを提供する。 さらに,本研究は,機械翻訳ソリューションを専門的な工学的文脈に応用するための基礎を築いた。 この論文のコードとデータセットはGitHubで公開されている。

関連論文リスト

• Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation [55.73341401764367]
  本稿では,合成QEデータの分散シフトを緩和する新しいフレームワークであるADSQEを紹介する。 ADSQEは、参照、すなわち翻訳監督信号を使用して、生成プロセスとアノテーションプロセスの両方をガイドする。 実験によると、ADSQEはCOMETのようなSOTAベースラインを教師なしと教師なしの両方で上回っている。
  論文  参考訳（メタデータ） (2025-02-27T10:11:53Z)
• A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations [0.4499833362998489]
  本研究は,既存のデータセットが特に騒々しい英語-マラティー語対の事例に焦点を当てた。 データ品質問題の影響を軽減するために,言語間文表現に基づくデータフィルタリング手法を提案する。 その結果,IndicSBERTによるベースラインポストフィルタよりも翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-04T13:49:45Z)
• Evaluating Automatic Metrics with Incremental Machine Translation Systems [55.78547133890403]
  商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。 商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
  論文  参考訳（メタデータ） (2024-07-03T17:04:17Z)
• LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
  本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。 我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-06-03T15:30:36Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• MuLER: Detailed and Scalable Reference-based Evaluation [24.80921931416632]
  そこで本研究では,テキスト生成のための基準ベース評価基準を細粒度解析ツールに変換する手法を提案する。 システムとメートル法が与えられたとき、MulERは選択されたメートル法が特定のエラータイプをどれだけ罰するかを定量化する。 我々は,MulERの有効性を実証し,その有用性を示すために,合成的および自然主義的な設定の両方で実験を行う。
  論文  参考訳（メタデータ） (2023-05-24T10:26:13Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• Rethinking Round-Trip Translation for Machine Translation Evaluation [44.83568796515321]
  ラウンドトリップ翻訳が参照なしで自動評価に利用できるという驚くべき発見を報告する。 ラウンドトリップ翻訳が複数の機械翻訳評価タスクに有用であることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:06:20Z)
• BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text [1.4213973379473654]
  オンラインコンテンツの機械翻訳(MT)は、複数の言語で書かれた投稿の処理に一般的に使用される。 本稿では,機械翻訳の致命的誤りを検出するための自動品質指標の有効性を評価する。 我々は、感情クリティカルなエラーの検出をより堅牢にするために、自動メトリクスの微調整が必要であると結論付けている。
  論文  参考訳（メタデータ） (2021-09-29T07:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。