論文の概要: Towards Understanding the Robustness of LLM-based Evaluations under Perturbations

• arxiv url: http://arxiv.org/abs/2412.09269v1
• Date: Thu, 12 Dec 2024 13:31:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:17.692968
• Title: Towards Understanding the Robustness of LLM-based Evaluations under Perturbations
• Title（参考訳）: 摂動下におけるLCM評価のロバスト性理解に向けて
• Authors: Manav Chaudhary, Harshit Gupta, Savita Bhat, Vasudeva Varma,
• Abstract要約: 大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
• 参考スコア（独自算出の注目度）: 9.944512689015998
• License:
• Abstract: Traditional evaluation metrics like BLEU and ROUGE fall short when capturing the nuanced qualities of generated text, particularly when there is no single ground truth. In this paper, we explore the potential of Large Language Models (LLMs), specifically Google Gemini 1, to serve as automatic evaluators for non-standardized metrics in summarization and dialog-based tasks. We conduct experiments across multiple prompting strategies to examine how LLMs fare as quality evaluators when compared with human judgments on the SummEval and USR datasets, asking the model to generate both a score as well as a justification for the score. Furthermore, we explore the robustness of the LLM evaluator by using perturbed inputs. Our findings suggest that while LLMs show promise, their alignment with human evaluators is limited, they are not robust against perturbations and significant improvements are required for their standalone use as reliable evaluators for subjective metrics.
• Abstract（参考訳）: BLEU や ROUGE のような従来の評価指標は、生成したテキストのニュアンスな性質を捉えたとき、特に単一の根拠の真実が存在しない場合、不足する。 本稿では,Large Language Models(LLM),特にGoogle Gemini 1の可能性を探り,要約やダイアログに基づくタスクにおける非標準化メトリクスの自動評価を行う。 SummEval と USR データセットの人的判断と比較し,LLM が品質評価指標としていかに優れているかを検証し,スコアとスコアの正当性の両方をモデルに求める。 さらに,摂動入力を用いてLLM評価器のロバスト性について検討する。 以上の結果から, LLMは有望性を示すが, 人的評価値との整合性は限られているものの, 摂動に対する頑健性は認められず, 主観的評価値に対する信頼性の高い評価値として, スタンドアローンでの使用には大幅な改善が必要であることが示唆された。

関連論文リスト

• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• Large Language Models are Inconsistent and Biased Evaluators [2.136983452580014]
  我々は,Large Language Models (LLMs) が親しみの偏りを示し,評価の歪んだ分布を示すため,評価値の偏りを示すことを示した。 また, LLM は不整合性評価器であり, テキスト品質の人間の理解に欠かせない相違を誘発する「サンプル間合意」が低く, 感度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-02T20:42:28Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores [23.568883428947494]
  本研究は,LMに基づく評価指標が,要約タスクの文脈において,それぞれの基盤となるLMに対して有利なバイアスを示すかどうかを考察する。 以上の結果から, 金のサマリーを活用せずに, 基準のない手法で評価指標を用いた場合, 特に有意なバイアスがみられた。 これらの結果は、生成的評価モデルによって提供される評価は、本質的なテキスト品質を超える要因に影響される可能性があることを裏付けている。
  論文  参考訳（メタデータ） (2023-11-16T10:43:26Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。