論文の概要: LLM-Generated Negative News Headlines Dataset: Creation and Benchmarking Against Real Journalism

• arxiv url: http://arxiv.org/abs/2511.11591v1
• Date: Fri, 24 Oct 2025 16:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-23 18:31:12.256466
• Title: LLM-Generated Negative News Headlines Dataset: Creation and Benchmarking Against Real Journalism
• Title（参考訳）: LLMによる否定的ニュース見出しデータセット:リアルジャーナリズムに対する創造とベンチマーク
• Authors: Olusola Babalola, Bolanle Ojokoh, Olutayo Boyinbode,
• Abstract要約: 本研究では,Large Language Models (LLMs) が生成する自然言語処理(NLP)タスクを支援するデータセットの可能性について検討する。 さまざまなネガティブな感情を捉えるために、カスタマイズされたプロンプトを使用して、ネガティブなニュースの見出しの専門的なコーパスが作成されました。 実際の見出しとの相関、難易度、コヒーレンス、リアリズムといった主要な指標を評価した。
• 参考スコア（独自算出の注目度）: 0.4779196219827507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research examines the potential of datasets generated by Large Language Models (LLMs) to support Natural Language Processing (NLP) tasks, aiming to overcome challenges related to data acquisition and privacy concerns associated with real-world data. Focusing on negative valence text, a critical component of sentiment analysis, we explore the use of LLM-generated synthetic news headlines as an alternative to real-world data. A specialized corpus of negative news headlines was created using tailored prompts to capture diverse negative sentiments across various societal domains. The synthetic headlines were validated by expert review and further analyzed in embedding space to assess their alignment with real-world negative news in terms of content, tone, length, and style. Key metrics such as correlation with real headlines, perplexity, coherence, and realism were evaluated. The synthetic dataset was benchmarked against two sets of real news headlines using evaluations including the Comparative Perplexity Test, Comparative Readability Test, Comparative POS Profiling, BERTScore, and Comparative Semantic Similarity. Results show the generated headlines match real headlines with the only marked divergence being in the proper noun score of the POS profile test.
• Abstract（参考訳）: 本研究では,Large Language Models (LLMs) が生成する自然言語処理(NLP)タスクを支援するデータセットの可能性を検討する。 感情分析の重要要素である負価テキストに着目し,実世界のデータに代えて,LLM生成合成ニュース見出しの利用について検討する。 様々な社会的領域にまたがるさまざまなネガティブな感情を捉えるために、カスタマイズされたプロンプトを使用して、ネガティブなニュースの見出しの専門コーパスが作成された。 合成見出しは、専門家のレビューによって検証され、コンテンツ、トーン、長さ、スタイルの点で現実世界のネガティブニュースとの整合性を評価するために、埋め込み空間でさらに分析された。 実際の見出しとの相関、難易度、コヒーレンス、リアリズムといった主要な指標を評価した。 合成データセットは、比較パープレキシティテスト、比較可読性テスト、比較POSプロファイリング、BERTScore、比較セマンティック類似性などの評価を用いて、実ニュースの見出しに対してベンチマークされた。 結果は、生成した見出しが実際の見出しと一致し、POSプロファイルテストの適切な名詞スコアにある唯一の顕著な違いが示される。

関連論文リスト

• Target-oriented Multimodal Sentiment Classification with Counterfactual-enhanced Debiasing [5.0175188046562385]
  マルチモーダル感情分類は、画像とテキストのペアから特定のターゲットに対する感情極性を予測しようとする。 既存の作業はしばしばテキストの内容に過度に依存し、データセットのバイアスを考慮できない。 本稿では,このような突発的相関を低減すべく,新たな反事実強化脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-11T05:40:53Z)
• ScoreRAG: A Retrieval-Augmented Generation Framework with Consistency-Relevance Scoring and Structured Summarization for News Generation [0.0]
  現在のニュース生成手法は、幻覚、事実的矛盾、ドメイン固有の専門知識の欠如に苦慮している。 ScoreRAGは、検索拡張生成、一貫性関連性評価、構造化要約を組み合わせた多段階フレームワークを通じて、これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-06-04T08:35:06Z)
• An exploration of features to improve the generalisability of fake news detection models [0.0]
  既存のNLPおよび教師付き機械学習メソッドは、クロスバリデーションの下ではうまく機能するが、データセットをまたいだ一般化に苦慮する。 この問題は、記事がパブリッシャに基づいてラベル付けされる、粗いラベル付きトレーニングデータに起因している。 本研究は, 粗いラベル付きデータから意味のある特徴を抽出し, 実世界のロバスト性を向上させることを実証した。
  論文  参考訳（メタデータ） (2025-02-27T17:26:56Z)
• Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
  抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。 本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。 実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T15:02:38Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Automatic News Summerization [0.0]
  この研究は、ニュース記事と人為的な参照要約からなるCNN-Daily Mailデータセットを用いている。 評価はROUGEスコアを用いて生成した要約の有効性と品質を評価する。
  論文  参考訳（メタデータ） (2023-10-17T18:38:03Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。