論文の概要: Rate, Explain and Cite (REC): Enhanced Explanation and Attribution in Automatic Evaluation by Large Language Models

• arxiv url: http://arxiv.org/abs/2411.02448v1
• Date: Sun, 03 Nov 2024 02:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:42.597652
• Title: Rate, Explain and Cite (REC): Enhanced Explanation and Attribution in Automatic Evaluation by Large Language Models
• Title（参考訳）: レート, 説明, Cite (REC):大規模言語モデルによる自動評価における説明と属性の向上
• Authors: Aliyah R. Hsu, James Zhu, Zhichao Wang, Bin Bi, Shubham Mehrotra, Shiva K. Pentyala, Katherine Tan, Xiang-Bo Mao, Roshanak Omrani, Sougata Chaudhuri, Regunathan Radhakrishnan, Sitaram Asur, Claire Na Cheng, Bin Yu,
• Abstract要約: 本稿では、REC-12BとREC-70Bという2つの微調整汎用LLM自動評価器を紹介する。 それらは、忠実性、指示従順性、一貫性、完全性など、様々な次元で生成されたテキストを評価するように設計されている。
• 参考スコア（独自算出の注目度）: 14.366425348130289
• License:
• Abstract: LLMs have demonstrated impressive proficiency in generating coherent and high-quality text, making them valuable across a range of text-generation tasks. However, rigorous evaluation of this generated content is crucial, as ensuring its quality remains a significant challenge due to persistent issues such as factual inaccuracies and hallucinations. This paper introduces two fine-tuned general-purpose LLM autoevaluators, REC-12B and REC-70B, specifically designed to evaluate generated text across several dimensions: faithfulness, instruction following, coherence, and completeness. These models not only provide ratings for these metrics but also offer detailed explanations and verifiable citations, thereby enhancing trust in the content. Moreover, the models support various citation modes, accommodating different requirements for latency and granularity. Extensive evaluations on diverse benchmarks demonstrate that our general-purpose LLM auto-evaluator, REC-70B, outperforms state-of-the-art LLMs, excelling in content evaluation by delivering better quality explanations and citations with minimal bias. It achieves Rank \#1 as a generative model on the RewardBench leaderboard\footnote{\url{https://huggingface.co/spaces/allenai/reward-bench}} under the model name \texttt{TextEval-Llama3.1-70B}. Our REC dataset and models are released at \url{https://github.com/adelaidehsu/REC}.
• Abstract（参考訳）: LLMはコヒーレントで高品質なテキストを生成する能力に優れており、様々なテキスト生成タスクで有用である。 しかし、事実的不正確さや幻覚といった永続的な問題のために、その品質が引き続き重要な課題であることを保証するため、この生成されたコンテンツの厳密な評価が不可欠である。 本稿では2つの微調整汎用LLM自動評価器REC-12BとREC-70Bを紹介する。 これらのモデルは、これらの指標のレーティングを提供するだけでなく、詳細な説明と検証可能な引用を提供し、それによってコンテンツの信頼性を高める。 さらに、モデルは様々な励振モードをサポートし、レイテンシと粒度の異なる要求を調節する。 多様なベンチマークを総合的に評価した結果,我々の汎用LCM自動評価器REC-70Bは最先端LCMよりも優れ,品質説明や引用を最小限のバイアスで行うことでコンテンツ評価に優れていた。 RewardBench Leaderboard\footnote{\url{https://huggingface.co/spaces/allenai/reward-bench}} の生成モデルとして Rank \#1 を、モデル名 \texttt{TextEval-Llama3.1-70B} で達成している。 我々のRECデータセットとモデルは、 \url{https://github.com/adelaidehsu/REC}でリリースされます。

関連論文リスト

• CoSER: Coordinating LLM-Based Persona Simulation of Established Roles [62.886267684392635]
  CoSERデータセットは771冊の有名な書籍から17,966文字をカバーしている。 我々は,LLaMA-3.1 モデル上に構築された高度なオープンロールプレイング LLM である CoSER 8B と CoSER 70B を開発した。
  論文  参考訳（メタデータ） (2025-02-13T08:55:24Z)
• Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [17.202017214385826]
  本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。 6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。 以上の結果から,再ランク付けモデルが後続命令の検索モデルを上回っているのに対して,特定の属性を扱う上では依然として課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-31T11:47:21Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores [23.568883428947494]
  本研究は,LMに基づく評価指標が,要約タスクの文脈において,それぞれの基盤となるLMに対して有利なバイアスを示すかどうかを考察する。 以上の結果から, 金のサマリーを活用せずに, 基準のない手法で評価指標を用いた場合, 特に有意なバイアスがみられた。 これらの結果は、生成的評価モデルによって提供される評価は、本質的なテキスト品質を超える要因に影響される可能性があることを裏付けている。
  論文  参考訳（メタデータ） (2023-11-16T10:43:26Z)
• Sequencing Matters: A Generate-Retrieve-Generate Model for Building Conversational Agents [9.191944519634111]
  Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。 提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。 我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
  論文  参考訳（メタデータ） (2023-11-16T02:37:58Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
  大規模言語モデル (LLM) は情報検索のツールとして広く使われている。 我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。 自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:53:49Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。