論文の概要: DISTO: Evaluating Textual Distractors for Multi-Choice Questions using Negative Sampling based Approach

• arxiv url: http://arxiv.org/abs/2304.04881v1
• Date: Mon, 10 Apr 2023 22:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 16:44:57.601782
• Title: DISTO: Evaluating Textual Distractors for Multi-Choice Questions using Negative Sampling based Approach
• Title（参考訳）: disto: 負のサンプリングに基づくマルチチョース質問に対するテキストの邪魔者評価
• Authors: Bilal Ghanem and Alona Fyshe
• Abstract要約: 複数選択質問(MCQ)は、読解理解(RC)を評価するための効率的で一般的な方法である ディトラクタ生成(DG)モデルが提案されており、その性能は一般的に機械翻訳(MT)メトリクスを用いて評価される。 生成した障害に対する最初の学習的評価基準であるdisTOを提案する。
• 参考スコア（独自算出の注目度）: 5.033269502052902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple choice questions (MCQs) are an efficient and common way to assess reading comprehension (RC). Every MCQ needs a set of distractor answers that are incorrect, but plausible enough to test student knowledge. Distractor generation (DG) models have been proposed, and their performance is typically evaluated using machine translation (MT) metrics. However, MT metrics often misjudge the suitability of generated distractors. We propose DISTO: the first learned evaluation metric for generated distractors. We validate DISTO by showing its scores correlate highly with human ratings of distractor quality. At the same time, DISTO ranks the performance of state-of-the-art DG models very differently from MT-based metrics, showing that MT metrics should not be used for distractor evaluation.
• Abstract（参考訳）: 複数選択質問(MCQ)は、読解理解(RC)を評価するための効率的で一般的な方法である。 すべてのMCQは、不正確だが学生の知識をテストするのに十分な、気を散らすような答えを必要とします。 ディトラクタ生成(DG)モデルが提案されており、その性能は一般的に機械翻訳(MT)メトリクスを用いて評価される。 しかし、MTメトリクスは、しばしば生成された散逸器の適合性を誤解する。 disto: 生成した邪魔者に対する最初の学習した評価基準を提案する。 評価基準は, 評価基準と高い相関性を示し, DISTO の有効性を検証した。 同時に、DITOは、MTベースの指標とは全く異なる最先端のDGモデルの性能をランク付けし、MTメトリクスを障害評価に使用すべきでないことを示した。

関連論文リスト

• Beyond Correlation: Interpretable Evaluation of Machine Translation Metrics [46.71836180414362]
  本稿では,機械翻訳(MT)メトリクスの解釈可能な評価フレームワークを提案する。 このフレームワーク内では、データフィルタリングと翻訳の再ランク付けユースケースのプロキシとして機能する2つのシナリオでメトリクスを評価する。 また、DA+SQMガイドラインに従って、手動でキュレートしたデータの信頼性に関する懸念も提起する。
  論文  参考訳（メタデータ） (2024-10-07T16:42:10Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• MuLER: Detailed and Scalable Reference-based Evaluation [24.80921931416632]
  そこで本研究では,テキスト生成のための基準ベース評価基準を細粒度解析ツールに変換する手法を提案する。 システムとメートル法が与えられたとき、MulERは選択されたメートル法が特定のエラータイプをどれだけ罰するかを定量化する。 我々は,MulERの有効性を実証し,その有用性を示すために,合成的および自然主義的な設定の両方で実験を行う。
  論文  参考訳（メタデータ） (2023-05-24T10:26:13Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Difficulty-Aware Machine Translation Evaluation [19.973201669851626]
  本稿では,新しい難易度対応機械翻訳評価指標を提案する。 ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。 提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
  論文  参考訳（メタデータ） (2021-07-30T02:45:36Z)
• OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics [53.779709191191685]
  オープンエンドのストーリー生成指標を評価するためのベンチマークであるOpenMEVAを提案する。 OpenMEVAは、メトリクスの能力を評価するための包括的なテストスイートを提供する。 既存の指標は人間の判断と相関が低く、談話レベルの不整合を認識できず、推論知識が欠如していることが観察された。
  論文  参考訳（メタデータ） (2021-05-19T04:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。