論文の概要: Large Language Models Are Active Critics in NLG Evaluation

• arxiv url: http://arxiv.org/abs/2410.10724v2
• Date: Mon, 17 Feb 2025 10:07:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:20.911405
• Title: Large Language Models Are Active Critics in NLG Evaluation
• Title（参考訳）: NLG評価における大規模言語モデルは積極的な批判である
• Authors: Shuying Xu, Junjie Hu, Ming Jiang,
• Abstract要約: Active-Criticは、大きな言語モデル(LLM)を「アクティブな批評家」に変換する新しい評価器である 実験の結果,Active-Criticは文脈認識評価基準を生成できることがわかった。
• 参考スコア（独自算出の注目度）: 9.932334723464129
• License:
• Abstract: The conventional paradigm of using large language models (LLMs) for natural language generation (NLG) evaluation relies on pre-defined task definitions and evaluation criteria, positioning LLMs as "passive critics" that strictly follow developer-provided guidelines. However, human evaluators often apply implicit criteria, and their expectations in practice can vary widely based on specific end-user needs. Consequently, these rigid evaluation methods struggle to adapt to diverse scenarios without extensive prompt customization. To address this, we introduce Active-Critic, a novel LLM-based evaluator that transforms LLMs into "active critics'' capable of adapting to diverse NLG tasks using limited example data. Active-Critic consists of two stages: (1) self-inferring the target NLG task and relevant evaluation criteria, and (2) dynamically optimizing prompts to produce human-aligned scores along with detailed justifications. Our experiments show that Active-Critic can generate nuanced, context-aware evaluation criteria, enabling it to achieve superior alignment with human judgments across multiple tasks.
• Abstract（参考訳）: 自然言語生成(NLG)評価に大規模言語モデル(LLM)を用いる従来のパラダイムは、事前に定義されたタスク定義と評価基準に依存しており、LSMを開発者が提供するガイドラインに厳格に従う「パッシブ批評家」として位置づけている。 しかしながら、人間の評価者は暗黙の基準を適用することが多く、その実際的な期待は特定のエンドユーザのニーズによって大きく異なる。 その結果、これらの厳密な評価手法は、広範囲の迅速なカスタマイズを伴わずに、多様なシナリオに適応するのに苦労する。 そこで本研究では,LPMを多種多様なNLGタスクに適応できる「能動的批判」に変換する,新しいLCMベースの評価器であるActive-Criticを紹介する。 Active-Critic は,(1) NLG タスクと関連する評価基準を自己推論し,(2) 人間の協調スコアの生成を動的に最適化する。 実験の結果,Active-Criticはニュアンスな文脈認識評価基準を生成でき,複数のタスクにまたがる人間の判断との整合性を向上できることがわかった。

関連論文リスト

• Unveiling Context-Aware Criteria in Self-Assessing LLMs [28.156979106994537]
  本研究では, 文脈認識基準(SALC)を各評価インスタンスに適した動的知識と統合した, 自己評価 LLM フレームワークを提案する。 経験的評価は,本手法が既存のベースライン評価フレームワークを著しく上回っていることを示す。 また,AlpacaEval2リーダボードにおけるLCWin-Rateの改善を,選好データ生成に使用する場合の12%まで改善した。
  論文  参考訳（メタデータ） (2024-10-28T21:18:49Z)
• Themis: A Reference-free NLG Evaluation Language Model with Flexibility and Interpretability [39.12792986841385]
  本稿では,人間とGPT-4のアノテーションを用いた大規模NLG評価コーパスNLG-Evalを構築した。 また,NLG 評価専用の LLM を提案する。この LLM は,設計した多視点整合性検証と評価指向の選好アライメント手法を用いて訓練されている。 Themis は様々な NLG タスクに対して優れた評価性能を示し、同時に未確認タスクを一般化し、GPT-4 など他の評価モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-26T14:04:29Z)
• Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences [11.23629471911503]
  EvalGenは、評価基準の生成とアサーションの実装において、ユーザに自動アシストを提供する。 質的研究は、EvalGenに対する全体的なサポートを見出すが、主観性と反復的なアライメントのプロセスを強調している。 ユーザはアウトプットを格付けする基準が必要ですが、アウトプットのグレードは、ユーザが基準を定義するのに役立つのです。
  論文  参考訳（メタデータ） (2024-04-18T15:45:27Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition [92.17397504834825]
  HD-Evalは、大規模な言語モデル評価ツールと人間の好みを反復的に調整するフレームワークである。 HD-Evalは、人間の専門家の評価思想から本質を継承し、LLMに基づく評価器のアライメントを強化する。 3つの評価領域に関する広範囲な実験は、HD-Evalのさらなる整合状態評価器の優位性を実証している。
  論文  参考訳（メタデータ） (2024-02-24T08:01:32Z)
• LLM-based NLG Evaluation: Current Status and Challenges [41.69249290537395]
  自然言語生成(NLG)を評価することは、人工知能において不可欠だが難しい問題である。 大規模言語モデル (LLM) は近年, NLG 評価において大きな可能性を示している。 LLMに基づく各種自動評価手法が提案されている。
  論文  参考訳（メタデータ） (2024-02-02T13:06:35Z)
• Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
  大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。 本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
  論文  参考訳（メタデータ） (2024-01-13T15:59:09Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Collaborative Evaluation: Exploring the Synergy of Large Language Models and Humans for Open-ended Generation Evaluation [71.76872586182981]
  大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。 本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。