Fugu-MT 論文翻訳(概要): Evaluating MT Systems: A Theoretical Framework

論文の概要: Evaluating MT Systems: A Theoretical Framework

arxiv url: http://arxiv.org/abs/2202.05806v1
Date: Fri, 11 Feb 2022 18:05:17 GMT
ステータス: 処理完了
システム内更新日: 2022-02-14 15:17:30.453256
Title: Evaluating MT Systems: A Theoretical Framework
Title（参考訳）: MTシステムの評価:理論的枠組み
Authors: Rajeev Sangal
Abstract要約: 本稿では,機械翻訳システムの評価のために,異なる自動メトリクスを設計できる理論的枠組みを概説する。認識の容易さの概念は、共感の適切さと流感の欠如に依存している。また、音声から音声への翻訳や談話の翻訳など、新しいタイプのMTシステムを評価するためにも使用できる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper outlines a theoretical framework using which different automatic metrics can be designed for evaluation of Machine Translation systems. It introduces the concept of {\em cognitive ease} which depends on {\em adequacy} and {\em lack of fluency}. Thus, cognitive ease becomes the main parameter to be measured rather than comprehensibility. The framework allows the components of cognitive ease to be broken up and computed based on different linguistic levels etc. Independence of dimensions and linearly combining them provides for a highly modular approach. The paper places the existing automatic methods in an overall framework, to understand them better and to improve upon them in future. It can also be used to evaluate the newer types of MT systems, such as speech to speech translation and discourse translation.
Abstract（参考訳）: 本稿では,機械翻訳システムの評価のために,異なる自動メトリクスを設計できる理論的枠組みを概説する。これは、認知の容易さの概念を導入し、それは「不適切さ」と「流感の欠如」に依存する。したがって、認知の容易さは、理解しやすさよりも測定すべき主要なパラメータとなる。このフレームワークは、認知の容易さのコンポーネントを、異なる言語レベルなどに基づいて分割し、計算することができる。次元の独立性とそれらの線形結合は、高度にモジュラーなアプローチを提供する。本稿では,既存の自動手法を全体フレームワークに配置し,それらをよりよく理解し,将来改善する。また、音声から音声への翻訳や談話の翻訳など、新しいタイプのMTシステムを評価するためにも使用できる。

関連論文リスト

Data2Concept2Text: An Explainable Multilingual Framework for Data Analysis Narration [42.95840730800478]
本稿では,データの集合を解釈し,基礎となる特徴を抽象化し,それを自然言語で記述する,完全な説明可能なシステムを提案する。このシステムは、2つの重要な段階に依存している: (i)データから出現する特性を識別し、それらを抽象概念に変換する、(ii)これらの概念を自然言語に変換する。
論文参考訳（メタデータ） (2025-02-13T11:49:48Z)
Towards Automatic Evaluation for Image Transcreation [52.71090829502756]
本稿では,機械翻訳(MT)メトリクスにインスパイアされた自動評価指標群を提案する。画像トランスクリエーションの3つの重要な側面として,文化的関連性,意味的等価性,視覚的類似性を挙げる。この結果から,視覚エンコーダの表現は視覚的類似度を測定するのに有効であるのに対し,プロプライエタリなVLMは文化的関連性と意味的等価性を最もよく認識していることがわかった。
論文参考訳（メタデータ） (2024-12-18T10:55:58Z)
IMTLab: An Open-Source Platform for Building, Evaluating, and Diagnosing Interactive Machine Translation Systems [94.39110258587887]
IMTLabは、オープンソースのエンドツーエンド対話型機械翻訳(IMT)システムプラットフォームである。 IMTLabは、対話的な翻訳プロセス全体を、ヒューマン・イン・ザ・ループ設定によるタスク指向の対話として扱う。
論文参考訳（メタデータ） (2023-10-17T11:29:04Z)
BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
論文参考訳（メタデータ） (2023-07-06T16:59:30Z)
Towards Explainable Evaluation Metrics for Machine Translation [32.69015745456696]
説明可能な機械翻訳メトリクスの重要な目的だけでなく、重要な特性も識別する。本稿では,ChatGPT や GPT4 などの生成モデルに基づく説明可能なメトリクスに対する最新の最先端手法について論じる。
論文参考訳（メタデータ） (2023-06-22T17:07:57Z)
Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
論文参考訳（メタデータ） (2021-03-30T18:02:58Z)
On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文参考訳（メタデータ） (2020-10-24T04:30:02Z)
Aspects of Terminological and Named Entity Knowledge within Rule-Based Machine Translation Models for Under-Resourced Neural Machine Translation Scenarios [3.413805964168321]
ルールベースの機械翻訳は、言語知識が専門家によって符号化される機械翻訳パラダイムである。ルールベース機械翻訳システムに含まれる情報を活用し、ニューラルマシン翻訳モデルを改善するための様々なアプローチについて述べる。その結果,提案モデルでは外部情報から学習する能力が限られていることが示唆された。
論文参考訳（メタデータ） (2020-09-28T15:19:23Z)
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文参考訳（メタデータ） (2020-05-03T22:10:23Z)
Can Your Context-Aware MT System Pass the DiP Benchmark Tests? : Evaluation Benchmarks for Discourse Phenomena in Machine Translation [7.993547048820065]
本稿では,4つの主要な談話現象の追跡と改善を目的としたMTベンチマークデータセットについて紹介する。驚くべきことに、既存の文脈認識モデルでは、言語や現象間の会話関連翻訳が一貫して改善されない。
論文参考訳（メタデータ） (2020-04-30T07:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。