論文の概要: Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation

• arxiv url: http://arxiv.org/abs/2407.10817v1
• Date: Mon, 15 Jul 2024 15:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:30:11.786415
• Title: Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation
• Title（参考訳）: Foundational Autoraters: 大規模な言語モデルを使用して自動評価を改善する
• Authors: Tu Vu, Kalpesh Krishna, Salaheddin Alzubi, Chris Tar, Manaal Faruqui, Yun-Hsuan Sung,
• Abstract要約: 基礎的な大規模オートラタモデルのファミリーであるFLAMeを紹介する。 FLAMeは、100以上の品質評価タスクの大規模で多様なコレクションに基づいて訓練されています。 FLAMeは下流の微調整のための強力な出発点としても機能することを示す。
• 参考スコア（独自算出の注目度）: 20.41379322900742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) advance, it becomes more challenging to reliably evaluate their output due to the high costs of human evaluation. To make progress towards better LLM autoraters, we introduce FLAMe, a family of Foundational Large Autorater Models. FLAMe is trained on our large and diverse collection of 100+ quality assessment tasks comprising 5M+ human judgments, curated and standardized using publicly released human evaluations from previous research. FLAMe significantly improves generalization to a wide variety of held-out tasks, outperforming LLMs trained on proprietary data like GPT-4 and Claude-3 on many tasks. We show that FLAMe can also serve as a powerful starting point for further downstream fine-tuning, using reward modeling evaluation as a case study (FLAMe-RM). Notably, on RewardBench, our FLAMe-RM-24B model (with an accuracy of 87.8%) is the top-performing generative model trained exclusively on permissively licensed data, outperforming both GPT-4-0125 (85.9%) and GPT-4o (84.7%). Additionally, we explore a more computationally efficient approach using a novel tail-patch fine-tuning strategy to optimize our FLAMe multitask mixture for reward modeling evaluation (FLAMe-Opt-RM), offering competitive RewardBench performance while requiring approximately 25x less training datapoints. Overall, our FLAMe variants outperform all popular proprietary LLM-as-a-Judge models we consider across 8 out of 12 autorater evaluation benchmarks, encompassing 53 quality assessment tasks, including RewardBench and LLM-AggreFact. Finally, our analysis reveals that FLAMe is significantly less biased than these LLM-as-a-Judge models on the CoBBLEr autorater bias benchmark, while effectively identifying high-quality responses for code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進歩するにつれて,人的評価のコストが高いため,その出力を確実に評価することがより困難になる。 LLMオートレーダの改善に向けて,基礎的大規模オートレータモデルのファミリーであるFLAMeを紹介する。 FLAMeは、5M以上の人的判断を含む100以上の品質評価タスクの大規模かつ多種多様なコレクションをトレーニングし、以前の研究から公開された人的評価を用いてキュレートされ、標準化されている。 FLAMeは、GPT-4やClaude-3といったプロプライエタリなデータで訓練されたLLMを多くのタスクで上回り、様々なホールトアウトタスクへの一般化を著しく改善した。 また,FLAMeをケーススタディ(FLAMe-RM)として評価することにより,FLAMeはより下流の微調整を行うための強力な出発点となることを示す。 特に、RewardBenchでは、FLAMe-RM-24Bモデル(精度87.8%)は、寛容なライセンス付きデータにのみ訓練された最高性能の生成モデルであり、GPT-4-0125 (85.9%) と GPT-4o (84.7%) の両方を上回っている。 さらに,FLAMeのマルチタスク混合を最適化して報酬モデル評価(FLAMe-Opt-RM)を最適化し,約25倍のトレーニングデータポイントを必要としながら,競争力のあるRewardBench性能を提供する。 全体として、FLAMeの派生モデルは、12のオートラッター評価ベンチマークのうち8つで、RewardBenchやLLM-AggreFactを含む53の品質評価タスクを含む、一般的なLLM-as-a-Judgeモデルよりも優れています。 最後に,FLAMeは,コード生成における高品質な応答を効果的に同定しながら,これらのLCM-as-a-Judgeモデルよりもはるかにバイアスが少ないことを明らかにした。

関連論文リスト

• Fantastic LLMs for Preference Data Annotation and How to (not) Find Them [15.776175440446414]
  大規模言語モデル(LLM)の優先度調整は、高品質な人間の嗜好データに依存している。 既存の方法は、訓練された報酬モデルやプロプライエタリモデルを使って、好みのアノテーションの判断を行うことができる。 データアノテーションにオープンソースのLCMを利用するカスタマイズ密度比(CDR)を導入する。
  論文  参考訳（メタデータ） (2024-11-04T18:54:39Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• Closing the gap between open-source and commercial large language models for medical evidence summarization [20.60798771155072]
  大規模言語モデル(LLM)は、医学的証拠の要約において大きな可能性を秘めている。 最近の研究は、プロプライエタリなLLMの応用に焦点を当てている。 オープンソースのLLMは透明性とカスタマイズを向上するが、そのパフォーマンスはプロプライエタリなものに比べて低下する。
  論文  参考訳（メタデータ） (2024-07-25T05:03:01Z)
• RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness [94.03511733306296]
  我々は,MLLMを超GPT-4V信頼性のための完全なオープンソースパラダイムに整合させるフレームワークであるRLAIF-Vを紹介する。 RLAIF-Vは、高品質なフィードバックデータとオンラインフィードバック学習アルゴリズムを含む、2つの観点から、オープンソースフィードバックを最大限活用する。 実験により、RLAIF-Vは、他のタスクのパフォーマンスを犠牲にすることなく、モデルの信頼性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T14:37:01Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Split and Merge: Aligning Position Biases in Large Language Model based Evaluators [23.38206418382832]
  PortIAは、人間の比較戦略を模倣して位置バイアスを校正するアライメントベースのシステムである。 その結果, Portia はテスト対象のモデルと比較形態の整合性を著しく向上させることがわかった。 GPT-4モデルにおける位置バイアスの約80%を修正し、一貫性を98%まで高める。
  論文  参考訳（メタデータ） (2023-09-29T14:38:58Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。