論文の概要: Performance of diverse evaluation metrics in NLP-based assessment and text generation of consumer complaints

• arxiv url: http://arxiv.org/abs/2506.21623v1
• Date: Mon, 23 Jun 2025 17:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:22.936312
• Title: Performance of diverse evaluation metrics in NLP-based assessment and text generation of consumer complaints
• Title（参考訳）: 消費者苦情のNLPに基づく評価とテキスト生成における多様な評価指標の性能
• Authors: Peiheng Gao, Chen Yang, Ning Sun, Ričardas Zitikis,
• Abstract要約: 本研究では, 消費者の安心度を評価する上で重要な意味的差異を効果的に認識する, 経験学習アルゴリズムを組み込むことによって, 課題に対処する。 本稿では,生成する逆数ネットワークのエキスパート評価を利用する合成データ生成手法について提案する。
• 参考スコア（独自算出の注目度）: 3.447707016041768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) has significantly advanced text classification by enabling automated understanding and categorization of complex, unstructured textual data. However, accurately capturing nuanced linguistic patterns and contextual variations inherent in natural language, particularly within consumer complaints, remains a challenge. This study addresses these issues by incorporating human-experience-trained algorithms that effectively recognize subtle semantic differences crucial for assessing consumer relief eligibility. Furthermore, we propose integrating synthetic data generation methods that utilize expert evaluations of generative adversarial networks and are refined through expert annotations. By combining expert-trained classifiers with high-quality synthetic data, our research seeks to significantly enhance machine learning classifier performance, reduce dataset acquisition costs, and improve overall evaluation metrics and robustness in text classification tasks.
• Abstract（参考訳）: 機械学習(ML)は、複雑な非構造化のテキストデータの自動理解と分類を可能にすることによって、かなり高度なテキスト分類を持つ。 しかし、特に消費者の苦情の中で、自然言語に固有のニュアンスのある言語パターンや文脈の変化を正確に把握することは、依然として課題である。 本研究では, 消費者の安心度を評価する上で重要な意味的差異を効果的に認識する, 経験学習アルゴリズムを組み込むことにより, これらの課題に対処する。 さらに, 提案手法は, 生成的敵ネットワークのエキスパート評価を利用して, 専門家アノテーションによって洗練される合成データ生成手法を統合することを提案する。 専門的な訓練を受けた分類器と高品質な合成データを組み合わせることで、機械学習の分類器の性能を大幅に向上させ、データセット取得コストを削減し、テキスト分類タスクの全体的な評価指標と堅牢性を向上させることを目指す。

関連論文リスト

• Monocle: Hybrid Local-Global In-Context Evaluation for Long-Text Generation with Uncertainty-Based Active Learning [63.531262595858]
  分数的・対数的アプローチは、総合的な評価タスクを局所的なスコアリングタスクに分割し、続いて最終的なグローバルアセスメントを行う。 局所的およびグローバルな評価の両面での性能を高めるために,人間のアノテーションを活用するハイブリッド・イン・コンテキスト・ラーニング・アプローチを導入する。 最後に,人間のアノテーションに対するデータサンプルを効率的に選択する不確実性に基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T16:39:41Z)
• Detecting Spelling and Grammatical Anomalies in Russian Poetry Texts [0.0]
  微調整データセットにおける自然言語テキストの品質は、生成モデルの性能において重要な役割を果たす。 本稿では,学習データセットから低品質テキストを識別・フィルタリングするための自動言語異常検出手法を提案する。 私たちの研究は、創造的なドメインにおける生成モデルのためのデータセットのトレーニング品質を改善するためのツールと洞察をコミュニティに提供することを目的としています。
  論文  参考訳（メタデータ） (2025-05-07T15:27:59Z)
• A Systematic Review of Data-to-Text NLG [2.4769539696439677]
  高品質なテキストを生成する手法を探索し、テキスト生成における幻覚の課題に対処する。 テキスト品質の進歩にもかかわらず、このレビューは低リソース言語における研究の重要性を強調している。
  論文  参考訳（メタデータ） (2024-02-13T14:51:45Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• Paraphrase Detection: Human vs. Machine Content [3.8768839735240737]
  人間が書いたパラフレーズは、難易度、多様性、類似性の点で機械生成のパラフレーズを超えている。 トランスフォーマーは、意味的に多様なコーパスに優れたTF-IDFを持つデータセット間で最も効果的な方法として登場した。
  論文  参考訳（メタデータ） (2023-03-24T13:25:46Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks [0.30458514384586394]
  本稿では,人間の翻訳品質の自動推定にDeep Learning法を用いる方法について検討する。 大規模な人間の注釈付きデータセットの実証結果は、ニューラルモデルが特徴に基づく手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-03-13T16:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。