Fugu-MT 論文翻訳(概要): Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

論文の概要: Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

arxiv url: http://arxiv.org/abs/2411.00640v1
Date: Fri, 01 Nov 2024 14:57:16 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:38:15.597630
Title: Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations
Title（参考訳）: Evalsにエラーバーを追加する: 言語モデル評価に対する統計的アプローチ
Authors: Evan Miller,
Abstract要約: 評価に関する文献は、実験分析と計画に関する他の科学からの文献をほとんど無視してきた。本稿は、言語モデル評価からのデータについて、統計学のトレーニングをおこなった研究者について紹介する。
参考スコア（独自算出の注目度）: 0.6526824510982799
License:
Abstract: Evaluations are critical for understanding the capabilities of large language models (LLMs). Fundamentally, evaluations are experiments; but the literature on evaluations has largely ignored the literature from other sciences on experiment analysis and planning. This article shows researchers with some training in statistics how to think about and analyze data from language model evaluations. Conceptualizing evaluation questions as having been drawn from an unseen super-population, we present formulas for analyzing evaluation data, measuring differences between two models, and planning an evaluation experiment. We make a number of specific recommendations for running language model evaluations and reporting experiment results in a way that minimizes statistical noise and maximizes informativeness.
Abstract（参考訳）: 評価は、大きな言語モデル(LLM)の能力を理解するために重要である。評価は基本的に実験であるが、評価に関する文献は実験分析と計画に関する他の科学の文献をほとんど無視している。本稿は、言語モデル評価からのデータについて、統計学のトレーニングをおこなった研究者について紹介する。そこで我々は, 評価データの解析, 2つのモデルの違いの測定, 評価実験の計画に関する公式を提示する。本稿では,統計的ノイズを最小限に抑え,情報度を最大化する方法として,言語モデル評価の実行と実験結果の報告を推奨する。

関連論文リスト

NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom [0.0]
ブラジルの学生を対象にしたクローゼテストのデータを用いて,ブラジルポルトガル語(PT-BR)のWEモデルを用いて意味的類似度を測定した。 WEモデルのスコアと審査員の評価を比較した結果,GloVeが最も効果的なモデルであることが判明した。
論文参考訳（メタデータ） (2024-11-02T15:22:26Z)
ElicitationGPT: Text Elicitation Mechanisms via Language Models [12.945581341789431]
本稿では,大規模言語モデルに対するドメイン知識のないクエリを用いて,提案したテキストを真理テキストに対してスコアリングする機構について述べる。ピアグレーディングデータセットからのピアレビューと、ピアレビューのマニュアルインストラクタースコアとの比較により、経験的評価を行う。
論文参考訳（メタデータ） (2024-06-13T17:49:10Z)
Is Data Valuation Learnable and Interpretable? [3.9325957466009203]
現在のデータ評価手法は、出力値の解釈可能性を無視している。この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
論文参考訳（メタデータ） (2024-06-03T08:13:47Z)
Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
論文参考訳（メタデータ） (2024-05-23T16:50:49Z)
Computational Models to Study Language Processing in the Human Brain: A Survey [47.81066391664416]
本稿では,脳研究における計算モデルの利用の取り組みを概観し,新たな傾向を浮き彫りにしている。我々の分析によると、すべてのデータセットで他のモデルよりも優れているモデルはない。
論文参考訳（メタデータ） (2024-03-20T08:01:22Z)
F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
論文参考訳（メタデータ） (2024-01-26T13:55:32Z)
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文参考訳（メタデータ） (2023-07-20T14:56:35Z)
Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
論文参考訳（メタデータ） (2023-06-01T23:27:49Z)
Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation [68.9440575276396]
この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
論文参考訳（メタデータ） (2023-05-01T17:36:06Z)
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation [3.624563211765782]
評価手法の最良の選択は、ある側面から別の側面まで様々であることを示す。その結果,アノテータの総数は研究力に強い影響を及ぼす可能性が示唆された。現在の統計解析手法では、I型エラー率を最大8倍にすることができる。
論文参考訳（メタデータ） (2021-01-27T10:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。