論文の概要: Assessing Reference-Free Peer Evaluation for Machine Translation
- arxiv url: http://arxiv.org/abs/2104.05146v1
- Date: Mon, 12 Apr 2021 00:49:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 05:04:10.844906
- Title: Assessing Reference-Free Peer Evaluation for Machine Translation
- Title(参考訳): 機械翻訳における参照フリーピア評価の評価
- Authors: Sweta Agrawal, George Foster, Markus Freitag, Colin Cherry
- Abstract要約: BLEUは,基準自由度として用いると,技術結果の状態を達成できることを示す。
このアプローチの様々な潜在的な弱点を分析し、驚くほど堅牢で、幅広い領域と異なるシステム品質で合理的なパフォーマンスを提供する可能性が高いことに気付きます。
- 参考スコア(独自算出の注目度): 6.0714908776688645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reference-free evaluation has the potential to make machine translation
evaluation substantially more scalable, allowing us to pivot easily to new
languages or domains. It has been recently shown that the probabilities given
by a large, multilingual model can achieve state of the art results when used
as a reference-free metric. We experiment with various modifications to this
model and demonstrate that by scaling it up we can match the performance of
BLEU. We analyze various potential weaknesses of the approach and find that it
is surprisingly robust and likely to offer reasonable performance across a
broad spectrum of domains and different system qualities.
- Abstract(参考訳): 参照なし評価は、機械翻訳の評価を大幅にスケーラブルにする可能性があり、新しい言語やドメインに容易にピボットできる。
近年,大規模な多言語モデルによって与えられる確率は,基準自由度として用いると,技術結果の状態を達成できることが示されている。
我々はこのモデルの様々な変更を試し、それをスケールアップすることでbleuのパフォーマンスにマッチできることを実証する。
このアプローチの様々な潜在的な弱点を分析し、驚くほど堅牢であり、幅広い領域と異なるシステム品質で合理的なパフォーマンスを提供する可能性が高いことを発見した。
関連論文リスト
- Exploring the Robustness of Model-Graded Evaluations and Automated
Interpretability [0.0]
グラデーションに対する自然言語理解に依存した評価は、他の言語モデルを使用することで、大規模に行うことができる。
モデルグレード評価のロバストさを、新しい認識方程式を含む異なるデータセットに対するインジェクションで検証する。
将来、よりインテリジェントなモデルが、彼らの評価モデルを操作したり、協力したりする可能性があると説明します。
論文 参考訳(メタデータ) (2023-11-26T17:11:55Z) - End-to-End Evaluation for Low-Latency Simultaneous Speech Translation [56.76828917401644]
本稿では,低遅延音声翻訳の様々な側面を現実的な条件下で実行し,評価するための第1の枠組みを提案する。
これには、オーディオのセグメンテーションと、異なるコンポーネントの実行時間が含まれる。
また、このフレームワークを用いて低遅延音声翻訳の異なるアプローチを比較する。
論文 参考訳(メタデータ) (2023-08-07T09:06:20Z) - MMBench: Is Your Multi-modal Model an All-around Player? [117.53230227207521]
大規模な視覚言語モデルを評価する方法は依然として大きな障害であり、将来のモデル開発を妨げる。
従来のベンチマークは、定量的なパフォーマンス測定を提供するが、きめ細かい能力評価と非破壊評価の指標が欠如している。
近年のOwlEvalのような主観的ベンチマークは、人間の労働を取り入れたモデル能力の包括的な評価を提供するが、それらはスケーラブルではなく、重大なバイアスを示す。
MMBenchは、視覚言語モデルの様々な能力を頑健に評価するための、体系的に設計された客観的ベンチマークである。
論文 参考訳(メタデータ) (2023-07-12T16:23:09Z) - Towards Explainable Evaluation Metrics for Machine Translation [36.594817754285984]
説明可能な機械翻訳メトリクスの重要な目的だけでなく、重要な特性も識別する。
本稿では,ChatGPT や GPT4 などの生成モデルに基づく説明可能なメトリクスに対する最新の最先端手法について論じる。
論文 参考訳(メタデータ) (2023-06-22T17:07:57Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Dialectical language model evaluation: An initial appraisal of the
commonsense spatial reasoning abilities of LLMs [10.453404263936335]
本稿では,コモンセンス推論のための言語モデルの弁証的評価について検討する。
この種の評価の目標は、集合的なパフォーマンス値を得るのではなく、失敗を見つけ、システムのバウンダリをマップすることにある。
本稿では,空間的推論の特定の場合に対して,このような評価を定性的に検討する。
論文 参考訳(メタデータ) (2023-04-22T06:28:46Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers [0.05857406612420462]
大規模で事前訓練された言語モデルは、既存の言語理解タスクにおいて人間のレベルと超人的精度を達成する。
予測コヒーレンスの新しい尺度による評価システムを提案する。
論文 参考訳(メタデータ) (2021-09-10T15:04:23Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - XL-WiC: A Multilingual Benchmark for Evaluating Semantic
Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。
我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。
実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2020-10-13T15:32:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。