論文の概要: ScoreRAG: A Retrieval-Augmented Generation Framework with Consistency-Relevance Scoring and Structured Summarization for News Generation
- arxiv url: http://arxiv.org/abs/2506.03704v1
- Date: Wed, 04 Jun 2025 08:35:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.236272
- Title: ScoreRAG: A Retrieval-Augmented Generation Framework with Consistency-Relevance Scoring and Structured Summarization for News Generation
- Title（参考訳）: ScoreRAG:ニュース生成のための一貫性関連スコーリングと構造化要約を備えた検索拡張生成フレームワーク
- Authors: Pei-Yun Lin, Yen-lung Tsai,
- Abstract要約: 現在のニュース生成手法は、幻覚、事実的矛盾、ドメイン固有の専門知識の欠如に苦慮している。
ScoreRAGは、検索拡張生成、一貫性関連性評価、構造化要約を組み合わせた多段階フレームワークを通じて、これらの課題に対処する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This research introduces ScoreRAG, an approach to enhance the quality of automated news generation. Despite advancements in Natural Language Processing and large language models, current news generation methods often struggle with hallucinations, factual inconsistencies, and lack of domain-specific expertise when producing news articles. ScoreRAG addresses these challenges through a multi-stage framework combining retrieval-augmented generation, consistency relevance evaluation, and structured summarization. The system first retrieves relevant news documents from a vector database, maps them to complete news items, and assigns consistency relevance scores based on large language model evaluations. These documents are then reranked according to relevance, with low-quality items filtered out. The framework proceeds to generate graded summaries based on relevance scores, which guide the large language model in producing complete news articles following professional journalistic standards. Through this methodical approach, ScoreRAG aims to significantly improve the accuracy, coherence, informativeness, and professionalism of generated news articles while maintaining stability and consistency throughout the generation process. The code and demo are available at: https://github.com/peiyun2260/ScoreRAG.
- Abstract（参考訳）: 本研究は,ニュース自動生成の質を高める手法であるScoreRAGを紹介する。
自然言語処理や大規模言語モデルの発展にもかかわらず、現在のニュース生成手法は、幻覚、事実的矛盾、そしてニュース記事を作成する際にドメイン固有の専門知識の欠如に悩まされることが多い。
ScoreRAGは、検索拡張生成、一貫性関連性評価、構造化要約を組み合わせた多段階フレームワークを通じて、これらの課題に対処する。
システムはまず、関係するニュース文書をベクトルデータベースから検索し、それらを完全なニュース項目にマップし、大きな言語モデル評価に基づいて一貫性関連スコアを割り当てる。
これらの文書は関連性に応じて再引用され、低品質のアイテムがフィルタリングされる。
このフレームワークは、関連するスコアに基づいて、段階的な要約を生成する。これは、プロのジャーナリストの基準に従って、完全なニュース記事を作成する際に、大きな言語モデルを導くものである。
この方法論的アプローチを通じて、ScoreRAGは、生成プロセス全体の安定性と一貫性を維持しつつ、生成したニュース記事の正確性、一貫性、情報性、プロフェッショナル性を大幅に向上することを目指している。
コードとデモは、https://github.com/peiyun2260/ScoreRAG.comで公開されている。
関連論文リスト
- Consistency Evaluation of News Article Summaries Generated by Large (and Small) Language Models [0.0]
大言語モデル (LLMs) は、流動的な抽象的な要約を生成することを約束しているが、ソーステキストに基づかない幻覚的な詳細を生成することができる。
本稿では,TextRank,BART,Mistral-7B-Instruct,OpenAI GPT-3.5-Turboなど,さまざまな手法を用いてテキスト要約の探索を行う。
XL-Sumデータセットでテストすると,すべての要約モデルが一貫した要約を生成することがわかった。
論文 参考訳（メタデータ） (2025-02-28T01:58:17Z) - TrustRAG: An Information Assistant with Retrieval Augmented Generation [73.84864898280719]
TrustRAGは、インデックス付け、検索、生成という3つの視点から、acRAGを強化する新しいフレームワークである。
我々はTrustRAGフレームワークをオープンソース化し、抜粋ベースの質問応答タスク用に設計されたデモスタジオを提供する。
論文 参考訳（メタデータ） (2025-02-19T13:45:27Z) - Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。
これらの課題を克服するために、新しい方法論とデータセットを導入します。
人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。
また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
論文 参考訳（メタデータ） (2024-12-17T08:47:41Z) - Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework [0.1979158763744267]
オープンエンドテキスト生成は自然言語処理において顕著な課題となっている。
復号法は、いくつかの指標で優れ、他の指標では性能が劣ることが多い。
本稿では,この多基準フレームワークにおける新たなランキング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-24T11:32:01Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。
CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文 参考訳（メタデータ） (2023-11-30T16:52:42Z) - Automatic News Summerization [0.0]
この研究は、ニュース記事と人為的な参照要約からなるCNN-Daily Mailデータセットを用いている。
評価はROUGEスコアを用いて生成した要約の有効性と品質を評価する。
論文 参考訳（メタデータ） (2023-10-17T18:38:03Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳（メタデータ） (2022-09-27T12:26:05Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2022-04-11T10:14:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。