Fugu-MT 論文翻訳(概要): Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text

論文の概要: Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text

arxiv url: http://arxiv.org/abs/2108.01861v1
Date: Wed, 4 Aug 2021 06:02:46 GMT
ステータス: 処理完了
システム内更新日: 2021-08-05 20:56:53.345220
Title: Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text
Title（参考訳）: 低リソース合成コード混合hinglishテキストの品質評価
Authors: Vivek Srivastava and Mayank Singh
Abstract要約: コードミキシングされたHinglish文を2つの異なるアプローチで合成する。私たちは世代品質を評価するために人間アノテータを使用します。
参考スコア（独自算出の注目度）: 1.6675267471157407
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this shared task, we seek the participating teams to investigate the factors influencing the quality of the code-mixed text generation systems. We synthetically generate code-mixed Hinglish sentences using two distinct approaches and employ human annotators to rate the generation quality. We propose two subtasks, quality rating prediction and annotators' disagreement prediction of the synthetic Hinglish dataset. The proposed subtasks will put forward the reasoning and explanation of the factors influencing the quality and human perception of the code-mixed text.
Abstract（参考訳）: この共有タスクでは、コード混合テキスト生成システムの品質に影響を及ぼす要因について、参加チームが調査する。コードミキシングされたヒングリッシュ文を2つの異なるアプローチで合成し,人間のアノテータを用いて生成品質を評価する。合成Hinglishデータセットにおける品質評価予測とアノテータの不一致予測という2つのサブタスクを提案する。提案したサブタスクは、コードミックステキストの品質と人間の知覚に影響を与える要因の推論と説明を行う。

関連論文リスト

From Human Judgements to Predictive Models: Unravelling Acceptability in Code-Mixed Sentences [18.53327811304381]
コード混在テキストの受理性に関する人間の判断をモデル化することは、自然なコード混在テキストの識別に役立ちます。クラインは16,642文のタイプの中で最大であり、2つの情報源から得られたサンプルで構成されている。 Clineを用いた実験では、コードミキシングのメトリクスのみに基づいて訓練された単純な多層パーセプトロン(MLP)モデルが、微調整された多言語大言語モデル(MLLM)より優れていることが示された。
論文参考訳（メタデータ） (2024-05-09T06:40:39Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文参考訳（メタデータ） (2023-10-02T09:35:27Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation [77.44921096644698]
本稿では,復号化アルゴリズムがLMフェアネスに与える影響を体系的に分析する。公平さ、多様性、品質のトレードオフを分析します。
論文参考訳（メタデータ） (2022-10-07T21:33:34Z)
niksss at HinglishEval: Language-agnostic BERT-based Contextual Embeddings with Catboost for Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text [0.0]
本稿では,INLG 2022におけるHinglishEvalチャレンジのシステム記述について述べる。本研究の目的は,コード混合テキスト生成システムの品質に影響を及ぼす要因について検討することであった。
論文参考訳（メタデータ） (2022-06-17T17:36:03Z)
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers [1.181206257787103]
本稿では,システムによって生成されたコードミクシングテキストデータの品質に影響を及ぼす要因を明らかにすることを目的とする。 HinglishEvalタスクでは,多言語BERTを用いて合成文と人文の類似性を求める。
論文参考訳（メタデータ） (2022-06-17T10:36:50Z)
PreCogIIITH at HinglishEval : Leveraging Code-Mixing Metrics & Language Model Embeddings To Estimate Code-Mix Quality [18.806186479627335]
我々は、コードミックス品質のレーティングを予測し、合成生成したコードミックステキストの品質に影響を与えるモデルを構築しようとしている。 INLG2022と協調した共有タスクであるHinglishEvalへの投稿で、私たちは、コードミックス品質のレーティングを予測することによって、合成されたコードミックステキストの品質に影響を与えるモデルを構築しようとしています。
論文参考訳（メタデータ） (2022-06-16T08:00:42Z)
A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
論文参考訳（メタデータ） (2022-03-28T21:24:03Z)
Efficient text generation of user-defined topic using generative adversarial networks [0.32228025627337864]
本稿では,この問題を解決するために,2レベル判別器を用いたユーザ定義型GAN(UD-GAN)を提案する。提案手法は,他の方法よりも少ない時間でテキストを生成することができる。
論文参考訳（メタデータ） (2020-06-22T04:49:47Z)
Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
論文参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。