論文の概要: A Comparative Study of Controlled Text Generation Systems Using Level-Playing-Field Evaluation Principles

• arxiv url: http://arxiv.org/abs/2605.12395v1
• Date: Tue, 12 May 2026 16:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.03528
• Title: A Comparative Study of Controlled Text Generation Systems Using Level-Playing-Field Evaluation Principles
• Title（参考訳）: レベル・プレイ・フィールド評価原理を用いたテキスト生成システムの比較検討
• Authors: Michela Lorandi, Anya Belz,
• Abstract要約: 比較評価にはレベル・プレイング・フィールド(LPF)アプローチを用いる。 我々は,現在使用されているものに基づいて選択された評価手法とデータセットの共有集合を適用し,公正な評価を確実にする。 結果: この方法での再評価を行った場合, 従来のCTGシステムと比較すると, 結果が著しく異なる場合が多く, 結果が悪くなる場合が多い。
• 参考スコア（独自算出の注目度）: 5.999912718983889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Many different approaches to controlled text generation (CTG) have been proposed over recent years, but it is difficult to get a clear picture of which approach performs best, because different datasets and evaluation methods are used in each case to assess the control achieved. Objectives: Our aim in the work reported in this paper is to develop an approach to evaluation that enables us to comparatively evaluate different CTG systems in a manner that is both informative and fair to the individual systems. Methods: We use a level-playing-field (LPF) approach to comparative evaluation where we (i) generate and process all system outputs in a standardised way, and (ii) apply a shared set of evaluation methods and datasets, selected based on those currently in use, in order to ensure fair evaluation. Results: When re-evaluated in this way, performance results for a representative set of current CTG systems differ substantially from originally reported results, in most cases for the worse. This highlights the importance of a shared standardised way of assessing controlled generation. Conclusions: The discrepancies revealed by LPF evaluation demonstrate the urgent need for standardised, reproducible evaluation practices in CTG. Our results suggest that without such practices, published performance claims may substantially misrepresent true system capabilities.
• Abstract（参考訳）: 背景: 制御テキスト生成 (CTG) に対する多くの異なるアプローチが近年提案されているが, 達成した制御を評価するために, 異なるデータセットや評価手法を用いているため, どれが最適かを明確に把握することは困難である。 目的:本論文で報告された研究の目的は,個々のシステムに対して情報的かつ公平な方法で,異なるCTGシステムを比較評価することのできる評価手法を開発することである。 方法:我々はレベル・プレイング・フィールド(LPF)アプローチを用いて比較評価を行う。 (i)すべてのシステム出力を標準化された方法で生成・処理し、 二 現在使用しているものに基づいて選択した評価方法及びデータセットの共有集合を適用して、公正な評価を確保すること。 結果: この方法での再評価を行った場合, 従来のCTGシステムと比較すると, 結果が著しく異なる場合が多く, 結果が悪くなる場合が多い。 これは、制御された世代を評価するための共有標準化された方法の重要性を強調している。 結論: LPF 評価で明らかになった相違点は,CTG の標準化された再現可能な評価プラクティスが緊急に必要であることを示している。 以上の結果から,このような実践がなければ,実際のシステム能力が著しく誤解される可能性が示唆された。

関連論文リスト

• Revisiting OmniAnomaly for Anomaly Detection: performance metrics and comparison with PCA-based models [0.08155575318208629]
  この研究は、MSSADの広く使われているリカレントモデルであるOmniAnomalyを再検討し、主成分分析に基づく単純な線形ベースラインと比較する。 どちらの手法もしきい値と評価手順で評価され、データセット内の28台のマシン毎に100回のラン毎に実験が繰り返される。 その結果,OmniAnomalyに匹敵する性能を達成でき,点調整が適用されない場合にも性能が向上することを示した。
  論文  参考訳（メタデータ） (2026-03-19T14:54:38Z)
• OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
  金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。 我々のベンチマークは多次元評価フレームワークによって特徴づけられる。 実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
  論文  参考訳（メタデータ） (2024-12-17T15:38:42Z)
• Active Evaluation Acquisition for Efficient LLM Benchmarking [18.85604491151409]
  学習ポリシを用いて,各ベンチマークからサンプルのサブセットを選択することにより,評価効率を向上させる戦略を検討する。 提案手法は,テスト例間の依存関係をモデル化し,残りの例に対する評価結果の正確な予測を可能にする。 実験の結果,提案手法は必要な評価プロンプトの数を大幅に削減することが示された。
  論文  参考訳（メタデータ） (2024-10-08T12:08:46Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。