論文の概要: TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation

• arxiv url: http://arxiv.org/abs/2410.03608v1
• Date: Fri, 4 Oct 2024 17:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:08:10.479518
• Title: TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation
• Title（参考訳）: TICKing all the Boxes: Generated Checklists improveing LLM Evaluation and generation
• Authors: Jonathan Cook, Tim Rocktäschel, Jakob Foerster, Dennis Aumiller, Alex Wang,
• Abstract要約: TICK(Targeted Instruct-evaluation with ChecKlists)は、完全に自動化され、解釈可能な評価プロトコルである。 まず,LLMが高品質な評価チェックリストを確実に生成できることを示す。 次に、STICKは、自己精製とBest-of-N選択により、複数のベンチマークで生成品質を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 24.954629877691623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the widespread adoption and usage of Large Language Models (LLMs), it is crucial to have flexible and interpretable evaluations of their instruction-following ability. Preference judgments between model outputs have become the de facto evaluation standard, despite distilling complex, multi-faceted preferences into a single ranking. Furthermore, as human annotation is slow and costly, LLMs are increasingly used to make these judgments, at the expense of reliability and interpretability. In this work, we propose TICK (Targeted Instruct-evaluation with ChecKlists), a fully automated, interpretable evaluation protocol that structures evaluations with LLM-generated, instruction-specific checklists. We first show that, given an instruction, LLMs can reliably produce high-quality, tailored evaluation checklists that decompose the instruction into a series of YES/NO questions. Each question asks whether a candidate response meets a specific requirement of the instruction. We demonstrate that using TICK leads to a significant increase (46.4% $\to$ 52.2%) in the frequency of exact agreements between LLM judgements and human preferences, as compared to having an LLM directly score an output. We then show that STICK (Self-TICK) can be used to improve generation quality across multiple benchmarks via self-refinement and Best-of-N selection. STICK self-refinement on LiveBench reasoning tasks leads to an absolute gain of $+$7.8%, whilst Best-of-N selection with STICK attains $+$6.3% absolute improvement on the real-world instruction dataset, WildBench. In light of this, structured, multi-faceted self-improvement is shown to be a promising way to further advance LLM capabilities. Finally, by providing LLM-generated checklists to human evaluators tasked with directly scoring LLM responses to WildBench instructions, we notably increase inter-annotator agreement (0.194 $\to$ 0.256).
• Abstract（参考訳）: LLM(Large Language Models)の普及と利用が広まる中、命令追従能力を柔軟かつ解釈可能な評価を行うことが不可欠である。 複雑な多面的選好を単一ランクに蒸留したにもかかわらず、モデル出力間の選好判断がデファクト評価標準となっている。 さらに、人間のアノテーションは遅くてコストがかかるため、信頼性と解釈可能性の犠牲から、LCMはこれらの判断を下すためにますます使われています。 本研究では,LLM生成した命令固有チェックリストを用いて評価を構造化する,完全に自動化された解釈可能な評価プロトコルであるTICK(Targeted Instruct-evaluation with ChecKlists)を提案する。 まず、命令が与えられた場合、LLMは、命令を一連のYES/NO質問に分解する高品質で調整された評価チェックリストを確実に生成できることを示す。 各質問は、候補の応答が命令の特定の要求を満たすかどうかを問う。 LLMの判定と人的嗜好の正確な一致の頻度は、LCMが直接アウトプットを採点するのに対して、TICKを使用すると顕著に増加(46.4%$\to$52.2%)することを示した。 次に、STICK(Self-TICK)は、自己精製とベストオブN選択により、複数のベンチマークで生成品質を向上させることができることを示す。 STICKによるLiveBench推論タスクの自己リファインメントは、絶対的な$$7.8%、STICKによるベスト・オブ・Nの選択は、実世界の命令データセットWildBenchに対して$6.3%の絶対的な改善を達成している。 これを踏まえ、構造化された多面的自己改善は、LLM機能をさらに向上するための有望な方法であることが示されている。 最後に、WildBench命令に対して直接LLM応答をスコアする人間評価者にLLM生成チェックリストを提供することにより、アノテーション間の合意(0.194$\to$ 0.256)を増大させる。

関連論文リスト

• $\forall$uto$\exists$$\lor\!\land$L: Autonomous Evaluation of LLMs for Truth Maintenance and Reasoning Tasks [20.072783454089098]
  $forall$uto$exists$$$lor!land$Lは、大言語モデル(LLM)を評価するための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-11T00:56:37Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• PiCO: Peer Review in LLMs based on the Consistency Optimization [19.130941716491716]
  ピアレビュー機構を用いて,大規模言語モデル(LLM)を自動的に測定する。 制約付き最適化問題として定式化し、各LLMの能力とスコアの一貫性を最大化することを目的としている。 我々はPEN, CIN, LISという3つの指標を提案し, ランク付けのギャップを評価する。
  論文  参考訳（メタデータ） (2024-02-02T18:49:26Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• State of What Art? A Call for Multi-Prompt LLM Evaluation [28.307860675006545]
  我々は650万インスタンスにわたる単発評価により得られた結果の脆さを包括的に分析した。 解析のロバスト性を改善するために,多様なプロンプトのセットを用いてLSMを評価することを提案する。
  論文  参考訳（メタデータ） (2023-12-31T22:21:36Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。