論文の概要: Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators
- arxiv url: http://arxiv.org/abs/2404.04475v1
- Date: Sat, 6 Apr 2024 02:29:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 21:08:32.781078
- Title: Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators
- Title(参考訳): 長さ制御されたAlpacaEval: 自動評価器のバイアス軽減のための簡単な方法
- Authors: Yann Dubois, Balázs Galambosi, Percy Liang, Tatsunori B. Hashimoto,
- Abstract要約: 自動評価におけるバイアスを制御するための簡単な回帰分析手法を提案する。
実ケーススタディとして,チャットLLMのベンチマークであるAlpacaEvalの長さバイアスの低減に着目した。
モデルとベースラインの出力が同じ長さである場合、その好みは何でしょう?
- 参考スコア(独自算出の注目度): 59.48172585509628
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based auto-annotators have become a key component of the LLM development process due to their cost-effectiveness and scalability compared to human-based evaluation. However, these auto-annotators can introduce complex biases that are hard to remove. Even simple, known confounders such as preference for longer outputs remain in existing automated evaluation metrics. We propose a simple regression analysis approach for controlling biases in auto-evaluations. As a real case study, we focus on reducing the length bias of AlpacaEval, a fast and affordable benchmark for chat LLMs that uses LLMs to estimate response quality. Despite being highly correlated with human preferences, AlpacaEval is known to favor models that generate longer outputs. We introduce a length-controlled AlpacaEval that aims to answer the counterfactual question: "What would the preference be if the model's and baseline's output had the same length?". To achieve this, we first fit a generalized linear model to predict the biased output of interest (auto-annotator preferences) based on the mediators we want to control for (length difference) and other relevant features. We then obtain length-controlled preferences by predicting preferences while conditioning the GLM with a zero difference in lengths. Length-controlling not only improves the robustness of the metric to manipulations in model verbosity, we also find that it increases the Spearman correlation with LMSYS' Chatbot Arena from 0.94 to 0.98. We release the code and leaderboard at https://tatsu-lab.github.io/alpaca_eval/ .
- Abstract(参考訳): LLMベースのオートアノテータは、人間による評価に比べてコスト効率とスケーラビリティのため、LLM開発プロセスの重要なコンポーネントとなっている。
しかし、これらの自動アノテーションは、取り除くのが難しい複雑なバイアスを導入することができる。
既存の自動評価指標には、より長いアウトプットを優先するといった、シンプルで既知の共同創設者が残っている。
自動評価におけるバイアスを制御するための簡単な回帰分析手法を提案する。
実ケーススタディでは、LLMを用いて応答品質を推定するチャットLLMの高速で安価なベンチマークであるAlpacaEvalの長さバイアスの低減に重点を置いている。
人間の好みと強く相関しているにもかかわらず、AlpacaEvalはより長い出力を生み出すモデルを好むことが知られている。
モデルとベースラインの出力が同じ長さなのか?
これを実現するために、まず一般化された線形モデルを用いて、制御したいメディエータ(長さ差)やその他の関連する特徴に基づいて、興味のバイアス付き出力(オートアノテータ選好)を予測する。
次に,GLMを長さ差ゼロで条件付けしながら,好みを予測し,長さ制御された嗜好を得る。
また,LMSYSのChatbot Arenaとのスピアマン相関を0.94から0.98に向上させた。
コードとリーダーボードはhttps://tatsu-lab.github.io/alpaca_eval/で公開しています。
関連論文リスト
- Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
textitSelf-Play Preference Optimization (SPPO)と呼ばれる我々のアプローチは、反復的なポリシー更新を通じてナッシュ均衡を近似する。
論文 参考訳(メタデータ) (2024-05-01T17:59:20Z) - LLM Evaluators Recognize and Favor Their Own Generations [33.672365386365236]
自己認識能力が自己評価に寄与するかどうかを検討する。
自己認識能力と自己参照バイアスの強さとの間には線形な相関関係が認められた。
我々は、自己認識が偏見のない評価やAIの安全性をより一般的に阻害する方法について論じる。
論文 参考訳(メタデータ) (2024-04-15T16:49:59Z) - Language-Based User Profiles for Recommendation [24.685132962653793]
Language-based Factorization Model (LFM) はエンコーダ/デコーダモデルであり、エンコーダとデコーダの両方が大きな言語モデル(LLM)である。
エンコーダLLMは、ユーザの評価履歴から、ユーザの関心事のコンパクトな自然言語プロファイルを生成する。
我々は,MovieLens データセットに対する LFM のアプローチを,ユーザの評価履歴から直接予測する行列係数化と LLM モデルと比較し,評価を行った。
論文 参考訳(メタデータ) (2024-02-23T21:58:50Z) - Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳(メタデータ) (2024-02-17T14:34:31Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳(メタデータ) (2024-01-29T18:43:49Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Benchmarking Cognitive Biases in Large Language Models as Evaluators [17.850224207182062]
大規模言語モデル(LLM)は、簡単なプロンプトと文脈内学習を備えた自動評価器として有効であることが示されている。
評価器としてのLCMの認知バイアスベンチマーク(CoBBLEr)を導入したランキングアウトプットの品質を評価する。
LLMはテキスト品質評価器であり、バイアスベンチマークに強い指標を示す。
論文 参考訳(メタデータ) (2023-09-29T06:53:10Z) - RAIN: Your Language Models Can Align Themselves without Finetuning [25.703729145091483]
大型言語モデル(LLM)は人間の好みと矛盾することが多い。
本研究では,不整合 LLM が自己ブーイングによって直接人間の嗜好に整合した応答を生成可能であることを示す。
本稿では,自己回帰推論(Rewindable Auto-Regressive Inference)という新しい推論手法を導入する。
論文 参考訳(メタデータ) (2023-09-13T17:59:09Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward
Model [126.78737228677025]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。