論文の概要: The Base-Rate Effect on LLM Benchmark Performance: Disambiguating Test-Taking Strategies from Benchmark Performance

• arxiv url: http://arxiv.org/abs/2406.11634v2
• Date: Mon, 30 Sep 2024 17:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:36.409679
• Title: The Base-Rate Effect on LLM Benchmark Performance: Disambiguating Test-Taking Strategies from Benchmark Performance
• Title（参考訳）: LLMベンチマーク性能に対するベースレートの影響:ベンチマークパフォーマンスからテストチューニング戦略の曖昧化
• Authors: Kyle Moore, Jesse Roberts, Thao Pham, Oseremhen Ewaleifoh, Doug Fisher,
• Abstract要約: 応答トークン間のベースレート確率(BRP)差が重要であり,タスク性能に影響を及ぼすことを示す。 本研究では,MMLUのバリエーションであるNvr-X-MMLUタスクを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Cloze testing is a common method for measuring the behavior of large language models on a number of benchmark tasks. Using the MMLU dataset, we show that the base-rate probability (BRP) differences across answer tokens are significant and affect task performance ie. guess A if uncertain. We find that counterfactual prompting does sufficiently mitigate the BRP effect. The BRP effect is found to have a similar effect to test taking strategies employed by humans leading to the conflation of task performance and test-taking ability. We propose the Nvr-X-MMLU task, a variation of MMLU, which helps to disambiguate test-taking ability from task performance and reports the latter.
• Abstract（参考訳）: クローゼテストは、多数のベンチマークタスクにおいて、大規模言語モデルの振る舞いを測定する一般的な方法である。 MMLUデータセットを用いて,応答トークン間のベースレート確率(BRP)差が重要であり,タスク性能に影響を及ぼすことを示す。 定かでないと仮定する。 反ファクトプロンプトはBRP効果を十分に緩和する。 BRP効果は、人間によって採用されるテストテイク戦略と同じような効果があり、タスクパフォーマンスとテストテイク能力の融合につながる。 本研究では,MMLUのバリエーションであるNvr-X-MMLUタスクを提案する。

関連論文リスト

• BenTo: Benchmark Task Reduction with In-Context Transferability [32.561978389905434]
  本稿では,大規模言語モデル(LLM)のベンチマークに使用するタスクを効率的に削減する方法を検討する。 In-context Learning (ICL) による2つのタスク間の伝達可能性を推定する実用的な指標を提案する。
  論文  参考訳（メタデータ） (2024-10-17T17:41:15Z)
• Active Testing of Large Language Model via Multi-Stage Sampling [17.89896012553348]
  AcTracerは,大規模言語モデル(LLM)に適した,アクティブなテストフレームワークである。 ほぼ最適な性能推定を達成するために、戦略的にテストデータの小さなサブセットを選択する。 実験の結果,AcTracerは既存手法と比較して最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2024-08-07T06:17:48Z)
• Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
  ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。 この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
  論文  参考訳（メタデータ） (2024-06-20T04:35:59Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
  ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。 提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-10-20T06:49:32Z)
• Benchmarking Causal Study to Interpret Large Language Models for Source Code [6.301373791541809]
  本稿では,3つのSEタスクをキュレートしたテストベッドからなるGalerasというベンチマーク戦略を紹介する。 本稿では,ChatGPTの性能に関するケーススタディを,個別の迅速なエンジニアリング手法で実施することで,ベンチマーク戦略の知見を述べる。
  論文  参考訳（メタデータ） (2023-08-23T20:32:12Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Planning for Sample Efficient Imitation Learning [52.44953015011569]
  現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。 本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。 実験結果から,EIは性能と試料効率の両立を図った。
  論文  参考訳（メタデータ） (2022-10-18T05:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。