論文の概要: Likelihood-based Mitigation of Evaluation Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.15987v1
• Date: Sun, 25 Feb 2024 04:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 16:03:07.734797
• Title: Likelihood-based Mitigation of Evaluation Bias in Large Language Models
• Title（参考訳）: 大言語モデルにおける評価バイアスの緩和
• Authors: Masanari Ohi, Masahiro Kaneko, Ryuto Koike, Mengsay Loem, Naoaki Okazaki
• Abstract要約: 大規模言語モデル(LLM)は、自然言語生成タスクを自動メトリクスとして評価するために広く使われている。 LLMが評価に使用される場合、確率バイアスが存在する可能性がある。
• 参考スコア（独自算出の注目度）: 39.77680080235204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are widely used to evaluate natural language generation tasks as automated metrics. However, the likelihood, a measure of LLM's plausibility for a sentence, can vary due to superficial differences in sentences, such as word order and sentence structure. It is therefore possible that there might be a likelihood bias if LLMs are used for evaluation: they might overrate sentences with higher likelihoods while underrating those with lower likelihoods. In this paper, we investigate the presence and impact of likelihood bias in LLM-based evaluators. We also propose a method to mitigate the likelihood bias. Our method utilizes highly biased instances as few-shot examples for in-context learning. Our experiments in evaluating the data-to-text and grammatical error correction tasks reveal that several LLMs we test display a likelihood bias. Furthermore, our proposed method successfully mitigates this bias, also improving evaluation performance (in terms of correlation of models with human scores) significantly.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語生成タスクを自動メトリクスとして評価するために広く使われている。 しかし、LLMの文に対する妥当性の尺度は、語順や文構造などの文の表層的差異によって異なる可能性がある。 したがって、LLMが評価に使用される場合、高い確率で文を上書きし、低い確率で文を下書きする確率バイアスが存在する可能性がある。 本稿では,LSMを用いた評価装置における確率バイアスの存在と影響について検討する。 また,確率バイアスを軽減する手法を提案する。 本手法は,コンテキスト内学習の例として,非常に偏りの強いインスタンスを用いる。 テキスト・テキスト・文法的誤り訂正タスクの評価実験により, テスト対象のLLMには潜在的なバイアスが現れることがわかった。 さらに,提案手法は,このバイアスを軽減し,評価性能(モデルと人間のスコアの相関性)を著しく向上させた。

関連論文リスト

• Mitigating the Bias of Large Language Model Evaluation [30.67730115141905]
  LLM-as-a-Judgeのバイアスに関する系統的研究を提案する。 クローズドソース・ジャッジモデルでは、表面品質の重要性を緩和するためにキャリブレーションを適用する。 オープンソース・ジャッジ・モデルでは, 対照的な学習によってバイアスを軽減し, 学習から逸脱するが, 表面品質が向上する負のサンプルをキュレートする。
  論文  参考訳（メタデータ） (2024-09-25T09:52:44Z)
• Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models [47.545382591646565]
  大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-08-07T17:11:34Z)
• Towards Transfer Unlearning: Empirical Evidence of Cross-Domain Bias Mitigation [18.150899267807965]
  大規模言語モデル(LLM)における非学習に基づくデバイアス化のアプローチについて検討する。 テキストの有害部分を解き放つマスク言語モデリングアンラーニング手法を提案する。 実験の結果,言語モデリング能力を維持しながらバイアスを減少させる手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-24T02:37:42Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Language Models can Evaluate Themselves via Probability Discrepancy [38.54454263880133]
  様々な大規模言語モデル(LLM)の有効性を評価するための自己評価手法ProbDiffを提案する。 テスト中のLSMを、初期応答と修正バージョンの間の確率差を計算するために独自に利用する。 以上の結果から, ProbDiff は GPT-4 に基づく評価結果と同等の結果を得た。
  論文  参考訳（メタデータ） (2024-05-17T03:50:28Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [55.66090768926881]
  本研究では,非テクスチャ化された「トリックテスト」と,現実的利用と有形効果に根ざした評価の対応について検討する。 本稿では,現在文献に適合している3つの非文脈評価と,長文コンテンツ生成に適用された3つの類似のRUTED評価を比較した。 トリックテストとRUTEd評価の対応は見つからなかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。