論文の概要: Assessing Quality of Experience in Natural Language Generation of German Text
- arxiv url: http://arxiv.org/abs/2608.18888v1
- Date: Wed, 19 Aug 2026 13:15:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.40514
- Title: Assessing Quality of Experience in Natural Language Generation of German Text
- Title（参考訳）: ドイツ語テキストの自然言語生成における品質評価
- Abstract要約: 品質・オブ・エクスペリエンスの観点から,ドイツNLGの人間中心評価のための新しいデータセットスイートであるTextQ-Germanを紹介した。
人間の品質評価を収集し、タスクごとに関連する知覚品質の次元を特定します。
我々はトランスフォーマーベース、言語機能ベース、ハイブリッドアプローチを含む自動QoE予測モデルを開発する。
- 参考スコア（独自算出の注目度）: 6.695162322390471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of Natural Language Generation (NLG) has made the reliable evaluation of generated text increasingly critical, as these systems, such as large language models (LLMs), are now widely deployed in real-world applications. However, traditional automatic metrics fail to capture the multifaceted nature of perceived quality. In this paper, we introduce TextQ-German, a novel dataset suite for human-centered evaluation of German NLG from a Quality of Experience (QoE) perspective, covering automatic text summarization and machine translation. Through crowdsourcing studies with German speakers, we collect human quality ratings and identify relevant perceptual quality dimensions for each task. We develop automatic QoE prediction models, including transformer-based, linguistic feature-based, and hybrid approaches. Hybrid models outperform pure transformer baselines in almost all experimental settings, while linguistic features alone can approach the performance of fine-tuned language models. The dataset is extended with LLM-generated outputs annotated with overall QoE scores. Final validation on held-out sets indicates generalization to unseen data. Our work contributes a publicly accessible resource for NLG evaluation and baselines for automatic QoE prediction, providing a foundation for developing NLG systems that better align with human quality perception.
- Abstract（参考訳）: 自然言語生成(NLG)の急速な進歩により、大規模言語モデル(LLM)などのシステムが現実世界のアプリケーションに広くデプロイされているため、生成したテキストの信頼性評価がますます重要になっている。
しかし、従来の自動メトリクスは、知覚された品質の多面的な性質を捉えられない。
本稿では、自動テキスト要約と機械翻訳を網羅した、品質・オブ・エクスペリエンス(QoE)の観点からのドイツ語NLGの人間中心評価のための新しいデータセットスイートであるTextQ-Germanを紹介する。
ドイツ語話者によるクラウドソーシング研究を通じて、人間の品質評価を収集し、タスクごとに関連する知覚品質の次元を特定する。
我々はトランスフォーマーベース、言語機能ベース、ハイブリッドアプローチを含む自動QoE予測モデルを開発する。
ハイブリッドモデルは、ほぼすべての実験環境で純粋なトランスフォーマーベースラインを上回り、言語的特徴だけでは、微調整された言語モデルの性能にアプローチすることができる。
データセットは、全体的なQoEスコアに注釈を付けたLCM生成出力で拡張される。
保持セットの最終的な検証は、目に見えないデータへの一般化を示している。
本研究は,人間の品質知覚に適合したNLGシステム開発のための基盤となる,自動QoE予測のためのNLG評価とベースラインの公開リソースを提供する。
関連論文リスト
- Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair [0.0]
本研究は、英語からヘブライ語へのQEのための半合成並列データセットを提案する。
専門的に翻訳された英語・ヘブライ語セグメントを、我々の資源から取り入れ、最高品質スコアを付与した。
言語的問題、特に性別と数字の合意に関する問題に対処するために、制御された翻訳エラーが導入された。
論文 参考訳（メタデータ） (2026-03-12T09:48:34Z) - MTQ-Eval: Multilingual Text Quality Evaluation for Language Models [4.239775815863115]
MTQ-Evalは多言語テキスト品質評価のための新しいフレームワークである。
高品質テキストと低品質テキストの両方の例から学び、内部表現を調整する。
115言語にわたる包括的評価は,提案モデルの性能向上を示す。
論文 参考訳（メタデータ） (2025-11-12T14:42:23Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - NLEBench+NorGLM: A Comprehensive Empirical Analysis and Benchmark Dataset for Generative Language Models in Norwegian [4.062031248854444]
ノルウェーの人口はわずか500万人で、NLPのタスクで最も印象的なブレークスルーの中では、表現力に乏しい。
このギャップを埋めるために、既存のノルウェーデータセットをコンパイルし、4つのノルウェーオープン言語モデルを事前訓練しました。
GPT-3.5はノルウェーの文脈を理解する能力に限界があることがわかった。
論文 参考訳（メタデータ） (2023-12-03T08:09:45Z) - Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。
人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。
複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文 参考訳（メタデータ） (2023-09-23T08:46:11Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - Compression, Transduction, and Creation: A Unified Framework for
Evaluating Natural Language Generation [85.32991360774447]
自然言語生成(NLG)は幅広いタスクにまたがっており、それぞれが特定の目的のために機能する。
NLGタスクにおける情報変化の性質に基づく統一的な視点を提案する。
我々は,異なるNLGタスクの重要な側面を評価するのに適した,解釈可能なメトリクスのファミリーを開発する。
論文 参考訳（メタデータ） (2021-09-14T01:00:42Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳（メタデータ） (2021-03-21T17:20:38Z) - GENIE: A Leaderboard for Human-in-the-Loop Evaluation of Text Generation [83.10599735938618]
リーダーボードは、評価を標準化し、独立した外部リポジトリに委譲することで、多くのNLPデータセットのモデル開発を容易にしています。
本研究では、テキスト生成タスクにリーダーボードの容易さをもたらす人間評価リーダーボードであるGENIEを紹介します。
論文 参考訳（メタデータ） (2021-01-17T00:40:47Z) - Automating Text Naturalness Evaluation of NLG Systems [0.0]
本稿では,テキストの自然性評価を自動化する試みについて述べる。
テキストサンプルのスコア付けやラベル付けに人間の参加者に頼る代わりに,プロセスの自動化を提案する。
テキストの確率分数を分析し、生成的および識別的モデルのサイズの影響を観察する。
論文 参考訳（メタデータ） (2020-06-23T18:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。