論文の概要: Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator

• arxiv url: http://arxiv.org/abs/2411.18444v1
• Date: Wed, 27 Nov 2024 15:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:31.885404
• Title: Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator
• Title（参考訳）: 会議のまとめは良いか?マルチLLM評価器による品質評価
• Authors: Frederic Kirstein, Terry Ruas, Bela Gipp,
• Abstract要約: MESAは、個々のエラータイプを3段階評価し、意思決定の洗練のためのマルチエージェント議論と、エラー定義の理解と人間の判断との整合性を洗練するためのフィードバックベースの自己学習を取り入れている。 GPT-4oを背骨として、MESAは、エラー検出における人間の判断と、要約品質に対するエラーの影響を反映するミッドスパイアマンとケンドールの相関を、平均0.25以上の方法で達成する。
• 参考スコア（独自算出の注目度）: 6.532478490187084
• License:
• Abstract: The quality of meeting summaries generated by natural language generation (NLG) systems is hard to measure automatically. Established metrics such as ROUGE and BERTScore have a relatively low correlation with human judgments and fail to capture nuanced errors. Recent studies suggest using large language models (LLMs), which have the benefit of better context understanding and adaption of error definitions without training on a large number of human preference judgments. However, current LLM-based evaluators risk masking errors and can only serve as a weak proxy, leaving human evaluation the gold standard despite being costly and hard to compare across studies. In this work, we present MESA, an LLM-based framework employing a three-step assessment of individual error types, multi-agent discussion for decision refinement, and feedback-based self-training to refine error definition understanding and alignment with human judgment. We show that MESA's components enable thorough error detection, consistent rating, and adaptability to custom error guidelines. Using GPT-4o as its backbone, MESA achieves mid to high Point-Biserial correlation with human judgment in error detection and mid Spearman and Kendall correlation in reflecting error impact on summary quality, on average 0.25 higher than previous methods. The framework's flexibility in adapting to custom error guidelines makes it suitable for various tasks with limited human-labeled data.
• Abstract（参考訳）: 自然言語生成システム(NLG)による会議要約の質は,自動測定が困難である。 ROUGEやBERTScoreのような確立されたメトリクスは、人間の判断と相対的に相関が低く、ニュアンス付きエラーを捕捉できない。 近年の研究では,大規模言語モデル (LLM) の利用が提案されている。 しかし、現在のLLMベースの評価器は、リスクマスキングのリスクを負い、弱いプロキシとしてしか機能せず、研究全体で比較することは困難で費用がかかるにもかかわらず、人間による金の標準の評価を残している。 本研究では, 個別の誤りタイプを3段階評価したLCMベースのフレームワークであるMESA, 意思決定改善のためのマルチエージェントディスカッション, および, 誤り定義の理解と人間の判断との整合性を改善するためのフィードバックベースの自己学習を提案する。 我々は、MESAのコンポーネントがエラー検出の徹底、一貫した評価、カスタムエラーガイドラインへの適応性を実現できることを示す。 GPT-4oをバックボーンとして用いると、MESAはエラー検出における人的判断と、要約品質に対する誤差の影響を反映するスピアマンとケンドールの相関を、平均0.25倍の精度で達成する。 カスタムエラーガイドラインに適応する際のフレームワークの柔軟性は、人間ラベル付きデータに制限のあるさまざまなタスクに適している。

関連論文リスト

• Epistemic Integrity in Large Language Models [11.173637560124828]
  大規模な言語モデルは情報ソースにますます頼っているが、偽りや誤解を招く声明の妥当性はユーザーや社会に高いリスクをもたらす。 本稿では,モデルの言語的主張が真の内部的確証を反映しないという,誤校正の重大な問題に直面する。 大規模言語モデルの言語的アサーション性を評価するための,新しい人的ミスアライメント評価と新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-10T17:10:13Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 LLM評価器によって予測されるエラーアノテーションの品質を高めるために,ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを導入する。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models [47.545382591646565]
  大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-08-07T17:11:34Z)
• Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
  本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。 我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。 以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
  論文  参考訳（メタデータ） (2024-07-05T09:26:40Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• How Reliable Are Automatic Evaluation Methods for Instruction-Tuned LLMs? [3.1706553206969925]
  このような手法のメタ評価を行い、その信頼性を幅広いタスクにわたって評価する。 自動評価手法は、特定の条件下で人間の評価を近似することができるが、その妥当性は文脈に依存している。 本研究は,命令調整型LLMの開発と評価において,自動手法の適用方法や解釈方法の理解を深めるものである。
  論文  参考訳（メタデータ） (2024-02-16T15:48:33Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Misclassification in Automated Content Analysis Causes Bias in Regression. Can We Fix It? Yes We Can! [0.30693357740321775]
  我々は,コミュニケーション学者が誤分類バイアスをほとんど無視していることを,体系的な文献レビューで示している。 既存の統計手法では、人間のアノテータによって作成されたような「金の標準」検証データを使って誤分類バイアスを補正することができる。 我々は、Rパッケージの誤分類モデルの設計と実装を含む、そのような手法を導入し、テストする。
  論文  参考訳（メタデータ） (2023-07-12T23:03:55Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。