Fugu-MT 論文翻訳(概要): CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges

論文の概要: CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges

arxiv url: http://arxiv.org/abs/2410.15393v1
Date: Sun, 20 Oct 2024 13:47:39 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-22 13:13:30.143889
Title: CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges
Title（参考訳）: CalibraEval: LLMs-as-Judgesにおける選択バイアス軽減のためのキャリブレーション予測分布
Authors: Haitao Li, Junjie Chen, Qingyao Ai, Zhumin Chu, Yujia Zhou, Qian Dong, Yiqun Liu,
Abstract要約: 推論中に選択バイアスを緩和する新しいラベルフリー手法であるCalibraEvalを紹介する。 CalibraEvalは、バイアスのない予測分布に合わせて観測された予測分布を調整するための最適化タスクとしてデバイアスを再構成する。本稿では,CalibraEvalが選択バイアスを効果的に軽減し,既存のデバイアス法と比較して性能を向上させることを示す。
参考スコア（独自算出の注目度）: 21.580762639442913
License:
Abstract: The use of large language models (LLMs) as automated evaluation tools to assess the quality of generated natural language, known as LLMs-as-Judges, has demonstrated promising capabilities and is rapidly gaining widespread attention. However, when applied to pairwise comparisons of candidate responses, LLM-based evaluators often exhibit selection bias. Specifically, their judgments may become inconsistent when the option positions or ID tokens are swapped, compromising the effectiveness and fairness of the evaluation result. To address this challenge, we introduce CalibraEval, a novel label-free method for mitigating selection bias during inference. Specifically, CalibraEval reformulates debiasing as an optimization task aimed at adjusting observed prediction distributions to align with unbiased prediction distributions. To solve this optimization problem, we propose a non-parametric order-preserving algorithm (NOA). This algorithm leverages the partial order relationships between model prediction distributions, thereby eliminating the need for explicit labels and precise mathematical function modeling.Empirical evaluations of LLMs in multiple representative benchmarks demonstrate that CalibraEval effectively mitigates selection bias and improves performance compared to existing debiasing methods. This work marks a step toward building more robust and unbiased automated evaluation frameworks, paving the way for improved reliability in AI-driven assessments
Abstract（参考訳）: LLMs-as-Judgesとして知られる、生成された自然言語の品質を評価するための自動評価ツールとして、大きな言語モデル(LLMs)を使用することは、有望な能力を示し、急速に注目を集めている。しかしながら、候補応答のペア比較に適用した場合、LLMベースの評価器は選択バイアスを呈することが多い。具体的には、オプションの位置やIDトークンが交換されると、その判断が矛盾し、評価結果の有効性と公平性を損なう可能性がある。この課題に対処するために、推論中に選択バイアスを緩和する新しいラベルなし手法であるCalibraEvalを紹介する。特に、CalibraEvalは、偏りのない予測分布に合わせるように観測された予測分布を調整することを目的とした最適化タスクとして、偏りを修正している。この最適化問題を解決するために,非パラメトリック順序保存アルゴリズム(NOA)を提案する。このアルゴリズムは、モデル予測分布間の部分順序関係を利用して、明示的なラベルや正確な数学的関数モデリングの必要性を排除し、複数の代表ベンチマークにおけるLCMの実証評価により、CalibraEvalが選択バイアスを効果的に軽減し、既存のデバイアス法と比較して性能を向上させることを示した。この作業は、より堅牢で偏見のない自動評価フレームワークを構築するためのステップであり、AI駆動アセスメントにおける信頼性向上の道を開くものだ。

関連論文リスト

Mitigating Selection Bias with Node Pruning and Auxiliary Options [11.835002896308545]
大規模言語モデル (LLM) は、複数の質問に応答するときに、特定の選択オプションに対して不当な好みを示すことが多い。以前のソリューションでは、モデルの入力と/または出力を調整するためにデバイアス法を使用していた。対照的に、我々の研究は選択バイアスのモデルの内部表現を調査している。
論文参考訳（メタデータ） (2024-09-27T15:53:54Z)
Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文参考訳（メタデータ） (2024-08-07T17:14:58Z)
Inference-Time Selective Debiasing [27.578390085427156]
モデル全体の品質向上を目的とした,推論時の安全性メカニズムである選択的デバイアス(elective debiasing)を提案する。潜在的なバイアスのあるモデル予測を特定し、それらを捨てる代わりに、後処理のデバイアス手法であるLEACEを使ってそれらをデバイアスします。テキスト分類データセットを用いた実験では、選択的デバイアスは、後処理方法とトレーニングと前処理のデバイアス技術の間のパフォーマンスギャップを埋めるのに役立つことが示されている。
論文参考訳（メタデータ） (2024-07-27T21:56:23Z)
Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
論文参考訳（メタデータ） (2024-07-05T09:26:40Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。我々はLSMに答えを自己評価するように指示する。自己評価に基づくスコアリング手法をベンチマークする。
論文参考訳（メタデータ） (2023-12-14T19:09:22Z)
Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-10-18T03:34:59Z)
Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文参考訳（メタデータ） (2023-09-07T17:44:56Z)
Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文参考訳（メタデータ） (2022-09-27T07:58:25Z)
Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文参考訳（メタデータ） (2022-08-25T13:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。