Fugu-MT 論文翻訳(概要): Changing Answer Order Can Decrease MMLU Accuracy

論文の概要: Changing Answer Order Can Decrease MMLU Accuracy

arxiv url: http://arxiv.org/abs/2406.19470v2
Date: Mon, 11 Nov 2024 02:27:54 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:04:30.341717
Title: Changing Answer Order Can Decrease MMLU Accuracy
Title（参考訳）: 回答順の変更は MMLU の精度を低下させる
Authors: Vipul Gupta, David Pantoja, Candace Ross, Adina Williams, Megan Ung,
Abstract要約: 広範に使われている複数選択質問応答データセットMMLUにおける精度測定の堅牢性について検討する。回答ラベルの内容をシャッフルすると、すべてのモデルがMMLUの精度を低下させるが、全てのモデルが等しく敏感であるわけではない。
参考スコア（独自算出の注目度）: 18.774650080306944
License:
Abstract: As large language models (LLMs) have grown in prevalence, particular benchmarks have become essential for the evaluation of these models and for understanding model capabilities. Most commonly, we use test accuracy averaged across multiple subtasks in order to rank models on leaderboards, to determine which model is best for our purposes. In this paper, we investigate the robustness of the accuracy measurement on a widely used multiple choice question answering dataset, MMLU. When shuffling the answer label contents, we find that all explored models decrease in accuracy on MMLU, but not every model is equally sensitive. These findings suggest a possible adjustment to the standard practice of leaderboard testing, where we additionally consider the percentage of examples each model answers correctly by random chance.
Abstract（参考訳）: 大規模言語モデル(LLM)が普及するにつれて、これらのモデルの評価やモデル機能の理解には特別なベンチマークが不可欠になっている。最も一般的には、複数のサブタスクの平均的なテスト精度を使用して、リーダーボード上のモデルをランク付けし、どのモデルが私たちの目的に最適なのかを判断します。本稿では,広く利用されている複数選択質問応答データセットMMLUにおける精度測定の堅牢性について検討する。回答ラベルの内容をシャッフルすると、すべてのモデルがMMLUの精度を低下させるが、全てのモデルが等しく敏感であるわけではない。これらの結果から,各モデルがランダムな確率で正解する事例の割合も考慮し,標準手法であるリーダボードテストに適応できる可能性が示唆された。

関連論文リスト

Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models [16.34646723046073]
ビデオ言語モデル(VLM)は、複雑なビデオ中心の質問に答えるように設計されている。現在のベンチマークでは、選択バイアスのため、VLMの完全な推論能力の取得に失敗している。本研究は,ビデオ-テキスト LLM モデルにおける選択バイアスについて,初めて焦点を絞った研究である。
論文参考訳（メタデータ） (2024-10-18T07:52:22Z)
Precise Model Benchmarking with Only a Few Observations [6.092112060364272]
本稿では,各サブグループの直接推定と回帰推定を個別にバランスする経験的ベイズ推定器を提案する。 EBは、直接的および回帰的アプローチと比較して、LCM性能のより正確な推定を一貫して提供する。
論文参考訳（メタデータ） (2024-10-07T17:26:31Z)
Introducing Flexible Monotone Multiple Choice Item Response Theory Models and Bit Scales [0.0]
本稿では,複数選択データに対する新しいモデルであるモノトーン多重選択(MMC)モデルを提案する。 MMCモデルは、適合性の観点から、従来の名目応答IRTモデルよりも優れていることを実証的に実証する。
論文参考訳（メタデータ） (2024-10-02T12:33:16Z)
Assessing Model Generalization in Vicinity [34.86022681163714]
本稿では, 分布外テストセットにおける分類モデルの一般化能力について, 基礎的真理ラベルに依存することなく評価する。そこで本研究では,各試料の正当性評価に,隣り合う試験試料からの応答を取り入れることを提案する。結果のスコアは、すべてのテストサンプルで平均化され、モデル精度の全体像が示される。
論文参考訳（メタデータ） (2024-06-13T15:58:37Z)
OLMES: A Standard for Language Model Evaluations [64.85905119836818]
再現可能な言語モデル評価のための実用的でオープンな標準であるOLMESを提案する。我々は,コミュニティが採用する評価実践において,様々な要因を特定し,検討する。 OLMESは、複数の質問の非自然な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。
論文参考訳（メタデータ） (2024-06-12T17:37:09Z)
Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文参考訳（メタデータ） (2023-09-07T17:44:56Z)
Beyond Accuracy: A Consolidated Tool for Visual Question Answering Benchmarking [30.155625852894797]
研究者や主催者を対象としたブラウザベースのベンチマークツールを提案する。私たちのツールは、複数のデータセットにわたるモデルの一般化機能をテストするのに役立ちます。対話的フィルタリングは問題のある振る舞いの発見を促進する。
論文参考訳（メタデータ） (2021-10-11T11:08:35Z)
Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文参考訳（メタデータ） (2021-09-07T03:13:06Z)
One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
論文参考訳（メタデータ） (2020-12-10T06:37:09Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)
ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
論文参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。