論文の概要: MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG
Evaluation
- arxiv url: http://arxiv.org/abs/2107.11534v1
- Date: Sat, 24 Jul 2021 05:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-28 09:24:45.011797
- Title: MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG
Evaluation
- Title(参考訳): MIPE: 効果的なコード混合NLG評価のためのメトリクス独立パイプライン
- Authors: Ayush Garg, Sammed S Kagi, Vivek Srivastava, Mayank Singh
- Abstract要約: コードミキシング(Code-mixing)は、2つ以上の言語からの単語とフレーズを1つの発話で混合する現象である。
様々な一般的なメトリクスは、コードミキシングされたNLGタスクではうまく機能しない。
評価指標と人的判断の相関性を大幅に改善する指標独立評価パイプラインMIPEを提案する。
- 参考スコア(独自算出の注目度): 1.2559148369195197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code-mixing is a phenomenon of mixing words and phrases from two or more
languages in a single utterance of speech and text. Due to the high linguistic
diversity, code-mixing presents several challenges in evaluating standard
natural language generation (NLG) tasks. Various widely popular metrics perform
poorly with the code-mixed NLG tasks. To address this challenge, we present a
metric independent evaluation pipeline MIPE that significantly improves the
correlation between evaluation metrics and human judgments on the generated
code-mixed text. As a use case, we demonstrate the performance of MIPE on the
machine-generated Hinglish (code-mixing of Hindi and English languages)
sentences from the HinGE corpus. We can extend the proposed evaluation strategy
to other code-mixed language pairs, NLG tasks, and evaluation metrics with
minimal to no effort.
- Abstract(参考訳): コードミキシング(Code-mixing)は、2つ以上の言語の単語とフレーズを1つの発話で混合する現象である。
言語的多様性が高いため、コードミキシングは標準自然言語生成(NLG)タスクを評価する上でいくつかの課題をもたらす。
広く普及しているメトリクスは、コード混合nlgタスクでパフォーマンスが悪い。
この課題に対処するために、生成したコードミックステキストにおける評価指標と人的判断との相関性を大幅に改善するメトリクス独立評価パイプラインMIPEを提案する。
ユースケースとして,HinGEコーパスから生成したHinglish文(ヒンディー語と英語のコードミキシング)におけるMIPEの性能を示す。
提案した評価戦略を、他のコード混合言語ペア、NLGタスク、および評価指標に最小限の労力で拡張することができる。
関連論文リスト
- Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳(メタデータ) (2024-01-29T17:17:42Z) - Marathi-English Code-mixed Text Generation [0.0]
コードミキシング(Code-mixing)とは、異なる言語から意味のある文を作るための言語要素のブレンドである。
本研究では、CMI(Code Mixing Index)とDCM(Degree of Code Mixing)メトリクスを用いて評価した、マラタイ英語のコードミックステキスト生成アルゴリズムを紹介する。
論文 参考訳(メタデータ) (2023-09-28T06:51:26Z) - Towards Multiple References Era -- Addressing Data Leakage and Limited
Reference Diversity in NLG Evaluation [55.92852268168816]
BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。
近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。
本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
論文 参考訳(メタデータ) (2023-08-06T14:49:26Z) - Not All Metrics Are Guilty: Improving NLG Evaluation with LLM
Paraphrasing [92.17776245159622]
Para-Refは、参照数を増やして評価ベンチマークを強化する新しい方法である。
我々は,大規模言語モデル(LLM)を用いて,単一の参照を多種多様な表現で複数の高品質なものに表現する。
提案手法は, 自動評価値16の相関を+7.82%の比率で効果的に改善することができる。
論文 参考訳(メタデータ) (2023-05-24T11:53:29Z) - ICE-Score: Instructing Large Language Models to Evaluate Code [7.556444391696562]
コードアセスメントのための大規模言語モデルに基づく新しい評価指標であるtextttICE-Score を提案する。
提案手法は,機能的正しさと人的嗜好との相関性に優れ,既存のアプローチの限界に対処する。
以上の結果から,コード生成の最先端の指標を超越した結果が得られた。
論文 参考訳(メタデータ) (2023-04-27T16:38:17Z) - G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。
GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
論文 参考訳(メタデータ) (2023-03-29T12:46:54Z) - Prompting Multilingual Large Language Models to Generate Code-Mixed
Texts: The Case of South East Asian Languages [47.78634360870564]
東南アジア7言語(SEA)のコードミキシングデータ生成のための多言語モデルの構築について検討する。
BLOOMZのような多言語学習モデルでは、異なる言語からフレーズや節でテキストを生成できないことが判明した。
ChatGPTは、コード混合テキストの生成において矛盾する機能を示しており、そのパフォーマンスはプロンプトテンプレートと言語ペアリングによって異なる。
論文 参考訳(メタデータ) (2023-03-23T18:16:30Z) - Not All Errors are Equal: Learning Text Generation Metrics using
Stratified Error Synthesis [79.18261352971284]
人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。
既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。
SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
論文 参考訳(メタデータ) (2022-10-10T22:30:26Z) - PreCogIIITH at HinglishEval : Leveraging Code-Mixing Metrics & Language
Model Embeddings To Estimate Code-Mix Quality [18.806186479627335]
我々は、コードミックス品質のレーティングを予測し、合成生成したコードミックステキストの品質に影響を与えるモデルを構築しようとしている。
INLG2022と協調した共有タスクであるHinglishEvalへの投稿で、私たちは、コードミックス品質のレーティングを予測することによって、合成されたコードミックステキストの品質に影響を与えるモデルを構築しようとしています。
論文 参考訳(メタデータ) (2022-06-16T08:00:42Z) - HinGE: A Dataset for Generation and Evaluation of Code-Mixed Hinglish
Text [1.6675267471157407]
我々は、広く普及しているHinglish(ヒンディー語と英語のコードミキシング)のためのコーパス(HinGE)を提示する。
HinGEには、人間が生成するヒングリッシュ文と、平行なヒンディー語文に対応する2つのルールベースのアルゴリズムがある。
さらに,コード混合データ上で広く利用されている評価指標の有効性を実証した。
論文 参考訳(メタデータ) (2021-07-08T11:11:37Z) - Challenges and Limitations with the Metrics Measuring the Complexity of
Code-Mixed Text [1.6675267471157407]
コードミキシング(Code-mixing)は、多言語話者の間で頻繁に行われるコミュニケーションスタイルであり、テキストや音声の同じ発話で2つの異なる言語からの単語とフレーズを混ぜる。
本稿では、様々な実験で広く使われている既存のデータセットの例とともに、コード混合メトリクスのいくつかの固有の制限を示す。
論文 参考訳(メタデータ) (2021-06-18T13:26:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。