論文の概要: Visualizing Uncertainty in Translation Tasks: An Evaluation of LLM Performance and Confidence Metrics

• arxiv url: http://arxiv.org/abs/2501.17187v1
• Date: Sun, 26 Jan 2025 17:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:55:03.997819
• Title: Visualizing Uncertainty in Translation Tasks: An Evaluation of LLM Performance and Confidence Metrics
• Title（参考訳）: 翻訳作業における不確かさの可視化:LLM性能と信頼度の評価
• Authors: Jin Hyun Park, Utsawb Laminchhane, Umer Farooq, Uma Sivakumar, Arpan Kumar,
• Abstract要約: 大規模言語モデル(LLM)は機械翻訳にますます利用されているが、その予測は解釈可能性やユーザ信頼を妨げる不確実性を示すことが多い。 本稿では,(1)モデルの信頼性に関するトークンレベルの洞察をユーザに提供すること,(2)翻訳の不確かさを定量化し表現するためのWebベースの可視化ツールを開発すること,の2つの目的に対処する。
• 参考スコア（独自算出の注目度）: 0.20971479389679337
• License:
• Abstract: Large language models (LLMs) are increasingly utilized for machine translation, yet their predictions often exhibit uncertainties that hinder interpretability and user trust. Effectively visualizing these uncertainties can enhance the usability of LLM outputs, particularly in contexts where translation accuracy is critical. This paper addresses two primary objectives: (1) providing users with token-level insights into model confidence and (2) developing a web-based visualization tool to quantify and represent translation uncertainties. To achieve these goals, we utilized the T5 model with the WMT19 dataset for translation tasks and evaluated translation quality using established metrics such as BLEU, METEOR, and ROUGE. We introduced three novel uncertainty quantification (UQ) metrics: (1) the geometric mean of token probabilities, (2) the arithmetic mean of token probabilities, and (3) the arithmetic mean of the kurtosis of token distributions. These metrics provide a simple yet effective framework for evaluating translation performance. Our analysis revealed a linear relationship between the traditional evaluation metrics and our UQ metrics, demonstrating the validity of our approach. Additionally, we developed an interactive web-based visualization that uses a color gradient to represent token confidence. This tool offers users a clear and intuitive understanding of translation quality while providing valuable insights into model performance. Overall, we show that our UQ metrics and visualization are both robust and interpretable, offering practical tools for evaluating and accessing machine translation systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は機械翻訳にますます利用されているが、その予測は解釈可能性やユーザ信頼を妨げる不確実性を示すことが多い。 これらの不確実性を効果的に可視化することは、特に翻訳精度が重要なコンテキストにおいて、LLM出力のユーザビリティを高めることができる。 本稿では,(1)モデルの信頼性に関するトークンレベルの洞察をユーザに提供すること,(2)翻訳の不確かさを定量化し表現するためのWebベースの可視化ツールを開発すること,の2つの目的に対処する。 これらの目的を達成するために, BLEU, METEOR, ROUGEなどの確立した指標を用いて, WMT19データセットを用いたT5モデルを用いて翻訳作業と翻訳品質の評価を行った。 我々は,(1)トークン確率の幾何平均,(2)トークン確率の算術平均,(3)トークン分布の算術平均の3つの新しい不確実性定量化(UQ)指標を導入した。 これらのメトリクスは、翻訳性能を評価するためのシンプルで効果的なフレームワークを提供する。 分析の結果,従来の評価指標とUQ指標との線形関係が明らかとなり,その妥当性が示された。 さらに,トークンの信頼度を表すために色勾配を用いたインタラクティブなWebベース可視化を開発した。 このツールは、ユーザーが翻訳品質を明確かつ直感的に理解し、モデルパフォーマンスに関する貴重な洞察を提供する。 全体として、我々のUQメトリクスと視覚化は堅牢かつ解釈可能であり、機械翻訳システムの評価とアクセスのための実用的なツールを提供する。

関連論文リスト

• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation [160.07938471250048]
  解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。 我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
  論文  参考訳（メタデータ） (2023-03-07T02:49:50Z)
• A Fine-grained Interpretability Evaluation Benchmark for Neural NLP [44.08113828762984]
  このベンチマークでは、感情分析、テキスト類似性、読解の3つのNLPタスクをカバーしている。 十分にコンパクトで包括的に注釈付けされたトークンレベルの合理性を提供します。 3つのサリエンシ手法を用いた3つの典型的なモデルについて実験を行い、その強度と弱さを解釈可能性の観点から明らかにした。
  論文  参考訳（メタデータ） (2022-05-23T07:37:04Z)
• PreQuEL: Quality Estimation of Machine Translation Outputs in Advance [32.922128367314194]
  PreQuELシステムは、実際の翻訳とは無関係に、ある文がどの程度翻訳されるかを予測する。 タスクのベースラインモデルを開発し,その性能を解析する。 本手法は,品質評価タスクの性能向上にも有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-18T18:55:05Z)
• A global analysis of metrics used for measuring performance in natural language processing [9.433496814327086]
  自然言語処理の性能測定に使用されるメトリクスの,最初の大規模断面積解析を行う。 結果から,現在使用されている自然言語処理メトリクスの大部分は,モデルの性能を不適切に反映する特性を持っていることが示唆された。
  論文  参考訳（メタデータ） (2022-04-25T11:41:50Z)
• Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation [66.23055784400475]
  トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。 条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。 CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
  論文  参考訳（メタデータ） (2022-03-06T12:34:10Z)
• BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text [1.4213973379473654]
  オンラインコンテンツの機械翻訳(MT)は、複数の言語で書かれた投稿の処理に一般的に使用される。 本稿では,機械翻訳の致命的誤りを検出するための自動品質指標の有効性を評価する。 我々は、感情クリティカルなエラーの検出をより堅牢にするために、自動メトリクスの微調整が必要であると結論付けている。
  論文  参考訳（メタデータ） (2021-09-29T07:51:17Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。