論文の概要: Evaluating Text Style Transfer Evaluation: Are There Any Reliable Metrics?

• arxiv url: http://arxiv.org/abs/2502.04718v2
• Date: Wed, 23 Apr 2025 04:06:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-24 20:25:50.753667
• Title: Evaluating Text Style Transfer Evaluation: Are There Any Reliable Metrics?
• Title（参考訳）: テキストスタイルの伝達評価 : 信頼性のあるメトリクスはあるか?
• Authors: Sourabrata Mukherjee, Atul Kr. Ojha, John P. McCrae, Ondrej Dusek,
• Abstract要約: テキスト・スタイル・トランスファー(テキスト・スタイル・トランスファー、英: Text style transfer、TST)は、テキストを変換して、元のコンテンツを保持しながら特定のスタイルを反映するタスクである。 人間の評価は理想的であるが、他の自然言語処理(NLP)タスクと同様にコストがかかる。 本稿では,TST評価のためのNLPタスクから,既存のメトリクスと新しいメトリクスのセットについて検討する。
• 参考スコア（独自算出の注目度）: 9.234136424254261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text style transfer (TST) is the task of transforming a text to reflect a particular style while preserving its original content. Evaluating TST outputs is a multidimensional challenge, requiring the assessment of style transfer accuracy, content preservation, and naturalness. Using human evaluation is ideal but costly, as is common in other natural language processing (NLP) tasks, however, automatic metrics for TST have not received as much attention as metrics for, e.g., machine translation or summarization. In this paper, we examine both set of existing and novel metrics from broader NLP tasks for TST evaluation, focusing on two popular subtasks, sentiment transfer and detoxification, in a multilingual context comprising English, Hindi, and Bengali. By conducting meta-evaluation through correlation with human judgments, we demonstrate the effectiveness of these metrics when used individually and in ensembles. Additionally, we investigate the potential of large language models (LLMs) as tools for TST evaluation. Our findings highlight newly applied advanced NLP metrics and LLM-based evaluations provide better insights than existing TST metrics. Our oracle ensemble approaches show even more potential.
• Abstract（参考訳）: テキスト・スタイル・トランスファー(テキスト・スタイル・トランスファー、英: Text style transfer、TST)は、テキストを変換して、元のコンテンツを保持しながら特定のスタイルを反映するタスクである。 TST出力の評価は多次元的課題であり、スタイル転送精度、コンテンツ保存性、自然性の評価が必要である。 人間の評価は理想的であるが、他の自然言語処理(NLP)タスクでは一般的なようにコストがかかるが、TSTの自動メトリクスは機械翻訳や要約などの指標ほど注目されていない。 本稿では,TST評価のためのより広範なNLPタスクからの既存のメトリクスと新しいメトリクスのセットを,英語,ヒンディー語,ベンガル語からなる多言語文脈における2つの一般的なサブタスク,感情伝達と解毒に焦点を当てて検討する。 人間の判断と相関してメタ評価を行うことにより,個人およびアンサンブルで使用した場合に,これらの指標の有効性を実証する。 さらに,TST評価ツールとしての大規模言語モデル(LLM)の可能性についても検討する。 本研究は,新たに適用された高度NLP測定値とLCMに基づく評価により,既存のTST測定値よりも優れた知見が得られることを示す。 オラクルのアンサンブルアプローチは、さらに可能性を示している。

関連論文リスト

• Are Large Language Models Actually Good at Text Style Transfer? [0.17751300245073598]
  テキストスタイル転送(TST)を用いた大規模言語モデル(LLM)の性能解析を行う。 TSTは、中核的な内容を保持しながら、テキストの言語スタイルを変更することを含む。 我々は、ゼロショットと少数ショットのプロンプトと、公開されているデータセットに対するパラメータ効率の微調整を用いて、事前訓練されたLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-09T18:45:41Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Text Style Transfer Evaluation Using Large Language Models [24.64611983641699]
  大きな言語モデル(LLM)は、平均的な人間のパフォーマンスにマッチし、さらに超える能力を示している。 複数の入力プロンプトを用いて、TSTにおける異なるLLMの結果を比較した。 この結果から,LLMが従来の自動測定値より優れていることが示唆された(ゼロショットでも)。
  論文  参考訳（メタデータ） (2023-08-25T13:07:33Z)
• Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
  本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。 新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。 提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
  論文  参考訳（メタデータ） (2023-08-23T14:18:44Z)
• Translation-Enhanced Multilingual Text-to-Image Generation [61.41730893884428]
  テキスト・ツー・イメージ・ジェネレーション(TTI)の研究は、現在でも主に英語に焦点を当てている。 そこで本研究では,多言語TTIとニューラルマシン翻訳(NMT)のブートストラップmTTIシステムへの応用について検討する。 我々は,mTTIフレームワーク内で多言語テキスト知識を重み付け,統合する新しいパラメータ効率アプローチであるEnsemble Adapter (EnsAd)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:03:52Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Multidimensional Evaluation for Text Style Transfer Using ChatGPT [14.799109368073548]
  emphTextスタイル転送作業における多次元評価器としてのChatGPTの可能性について検討する。 本研究は,テキストスタイルの伝達評価において,文体強度,コンテンツ保存,流布の3次元において,その性能を検証した。 これらの予備的な結果は、スタイリングされたテキスト生成の多次元評価において、大きな言語モデルが果たす役割を初めて垣間見ることができると期待されている。
  論文  参考訳（メタデータ） (2023-04-26T11:33:35Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Statistical Machine Translation for Indic Languages [1.8899300124593648]
  本稿では,バイリンガル統計機械翻訳モデルの開発について論じる。 このシステムを構築するために,MOSES オープンソース SMT ツールキットについて検討した。 本実験では, BLEU, METEOR, RIBESなどの標準指標を用いて, 翻訳の質を評価する。
  論文  参考訳（メタデータ） (2023-01-02T06:23:12Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• MT Metrics Correlate with Human Ratings of Simultaneous Speech Translation [10.132491257235024]
  本研究では,CR(Continuous Ratings)とオフライン機械翻訳評価指標の相関分析を行った。 本研究は,オフラインのメトリクスがCRとよく相関していることを明らかにし,同時に機械翻訳を評価するために確実に使用できることを示した。 SSTの現在の品質レベルを考えると、これらの指標はCRのプロキシとして利用することができ、大規模な人的評価の必要性を軽減することができると結論付けている。
  論文  参考訳（メタデータ） (2022-11-16T03:03:56Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。