論文の概要: Evaluating MT Systems: A Theoretical Framework
- arxiv url: http://arxiv.org/abs/2202.05806v1
- Date: Fri, 11 Feb 2022 18:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 15:17:30.453256
- Title: Evaluating MT Systems: A Theoretical Framework
- Title(参考訳): MTシステムの評価:理論的枠組み
- Authors: Rajeev Sangal
- Abstract要約: 本稿では,機械翻訳システムの評価のために,異なる自動メトリクスを設計できる理論的枠組みを概説する。
認識の容易さの概念は、共感の適切さと流感の欠如に依存している。
また、音声から音声への翻訳や談話の翻訳など、新しいタイプのMTシステムを評価するためにも使用できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper outlines a theoretical framework using which different automatic
metrics can be designed for evaluation of Machine Translation systems. It
introduces the concept of {\em cognitive ease} which depends on {\em adequacy}
and {\em lack of fluency}. Thus, cognitive ease becomes the main parameter to
be measured rather than comprehensibility. The framework allows the components
of cognitive ease to be broken up and computed based on different linguistic
levels etc. Independence of dimensions and linearly combining them provides for
a highly modular approach.
The paper places the existing automatic methods in an overall framework, to
understand them better and to improve upon them in future. It can also be used
to evaluate the newer types of MT systems, such as speech to speech translation
and discourse translation.
- Abstract(参考訳): 本稿では,機械翻訳システムの評価のために,異なる自動メトリクスを設計できる理論的枠組みを概説する。
これは、認知の容易さの概念を導入し、それは「不適切さ」と「流感の欠如」に依存する。
したがって、認知の容易さは、理解しやすさよりも測定すべき主要なパラメータとなる。
このフレームワークは、認知の容易さのコンポーネントを、異なる言語レベルなどに基づいて分割し、計算することができる。
次元の独立性とそれらの線形結合は、高度にモジュラーなアプローチを提供する。
本稿では,既存の自動手法を全体フレームワークに配置し,それらをよりよく理解し,将来改善する。
また、音声から音声への翻訳や談話の翻訳など、新しいタイプのMTシステムを評価するためにも使用できる。
関連論文リスト
- IMTLab: An Open-Source Platform for Building, Evaluating, and Diagnosing
Interactive Machine Translation Systems [94.39110258587887]
IMTLabは、オープンソースのエンドツーエンド対話型機械翻訳(IMT)システムプラットフォームである。
IMTLabは、対話的な翻訳プロセス全体を、ヒューマン・イン・ザ・ループ設定によるタスク指向の対話として扱う。
論文 参考訳(メタデータ) (2023-10-17T11:29:04Z) - Towards Best Practices of Activation Patching in Language Models:
Metrics and Methods [9.121998462494533]
評価指標や汚損手法を含む,アクティベーションパッチングにおける方法論的詳細の影響について検討する。
経験的観察に支えられ、ある指標や方法が好まれる理由について、概念的な議論を行う。
論文 参考訳(メタデータ) (2023-09-27T21:53:56Z) - BLEURT Has Universal Translations: An Analysis of Automatic Metrics by
Minimum Risk Training [64.37683359609308]
本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。
BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。
詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
論文 参考訳(メタデータ) (2023-07-06T16:59:30Z) - Towards Explainable Evaluation Metrics for Machine Translation [36.594817754285984]
説明可能な機械翻訳メトリクスの重要な目的だけでなく、重要な特性も識別する。
本稿では,ChatGPT や GPT4 などの生成モデルに基づく説明可能なメトリクスに対する最新の最先端手法について論じる。
論文 参考訳(メタデータ) (2023-06-22T17:07:57Z) - A meta-probabilistic-programming language for bisimulation of
probabilistic and non-well-founded type systems [0.0]
本稿では,プログラムとプログラムが組み込まれている型システムの両方を表現可能な,確率的プログラミングのための形式メタ言語を提案する。
我々は、我々のアプローチを形式化するために、立方体型理論と依存型メタグラフの枠組みを描いている。
論文 参考訳(メタデータ) (2022-03-30T01:07:37Z) - When Does Translation Require Context? A Data-driven, Multilingual
Exploration [71.43817945875433]
談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する
文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。
談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
論文 参考訳(メタデータ) (2021-09-15T17:29:30Z) - Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。
形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
論文 参考訳(メタデータ) (2021-03-30T18:02:58Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳(メタデータ) (2020-10-24T04:30:02Z) - Aspects of Terminological and Named Entity Knowledge within Rule-Based
Machine Translation Models for Under-Resourced Neural Machine Translation
Scenarios [3.413805964168321]
ルールベースの機械翻訳は、言語知識が専門家によって符号化される機械翻訳パラダイムである。
ルールベース機械翻訳システムに含まれる情報を活用し、ニューラルマシン翻訳モデルを改善するための様々なアプローチについて述べる。
その結果,提案モデルでは外部情報から学習する能力が限られていることが示唆された。
論文 参考訳(メタデータ) (2020-09-28T15:19:23Z) - On the Limitations of Cross-lingual Encoders as Exposed by
Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。
本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。
事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。
参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文 参考訳(メタデータ) (2020-05-03T22:10:23Z) - Can Your Context-Aware MT System Pass the DiP Benchmark Tests? :
Evaluation Benchmarks for Discourse Phenomena in Machine Translation [7.993547048820065]
本稿では,4つの主要な談話現象の追跡と改善を目的としたMTベンチマークデータセットについて紹介する。
驚くべきことに、既存の文脈認識モデルでは、言語や現象間の会話関連翻訳が一貫して改善されない。
論文 参考訳(メタデータ) (2020-04-30T07:15:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。