論文の概要: Mitigating Scoring Bias in LLM-as-a-Judge via Random Number Generation
- arxiv url: http://arxiv.org/abs/2608.05726v1
- Date: Thu, 06 Aug 2026 08:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.850907
- Title: Mitigating Scoring Bias in LLM-as-a-Judge via Random Number Generation
- Title（参考訳）: LLM-as-a-Judgeにおけるランダム数生成によるスコーリングバイアスの緩和
- Abstract要約: 大規模言語モデル(LLM)は、しばしばテキストの品質を評価するために使われる。
LLMは、評価されたテキストのコンテキストに関わらず、特定のスコアを生成する傾向がある。
本研究では,このスコアリングバイアスを緩和する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 7.525640980821714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are often used as evaluators of text quality, known as LLM-as-a-Judge, which can outperform conventional automatic evaluation metrics that rely on reference texts. However, LLM evaluators tend to generate particular scores regardless of the context of the evaluated text, which is known as scoring bias. This study proposes a novel method to mitigate this scoring bias. An LLM is instructed to randomly generate number tokens, and the latent numerical bias of the LLM is identified by measuring the deviation of the observed distribution of numbers from the uniform distribution. A definition of a downstream task, for which an LLM evaluator is used, is added to the prompts for random number generation to measure task-specific latent number bias. In the evaluation by an LLM, the token generation probabilities for a given input are rectified considering the LLM's latent number bias. Results of the experiment on four different tasks, evaluation of LLM alignment, evaluation of summarization, Semantic Textual Similarity, and Semantic Textual Relatedness, demonstrate that our proposed method outperforms the baselines, including an LLM without debiasing and previous calibration methods. In addition, it is confirmed that scoring bias varies across LLMs, tasks, and score ranges, indicating the importance of measuring latent number bias as the case may be.
- Abstract（参考訳）: LLM(Large Language Models)は、LLM-as-a-Judgeとして知られるテキスト品質の評価器としてよく使われ、参照テキストに依存する従来の自動評価指標よりも優れている。
しかし、LCM評価者は評価されたテキストの文脈に関係なく特定のスコアを生成する傾向があり、これはスコアのバイアスとして知られている。
本研究では,このスコアリングバイアスを緩和する新しい手法を提案する。
LLMは乱数トークンをランダムに生成するように指示され、その均一分布から観測された数の分布の偏差を測定することにより、LCMの潜在数値バイアスを同定する。
LLM評価器が使用される下流タスクの定義は、タスク固有の潜数バイアスを測定するために乱数生成のプロンプトに追加される。
LLMによる評価では、LLMの潜数バイアスを考慮して、所定の入力に対するトークン生成確率を補正する。
実験の結果,LLMアライメントの評価,要約の評価,意味的テクスチャ類似性,セマンティックテクスチャ関連性などの4つのタスクにおいて,提案手法は,デバイアスを伴わないLCMや従来のキャリブレーション手法などのベースラインよりも優れていることが示された。
さらに, LLM, タスク, スコア範囲によってスコアのバイアスが変化することが確認され, 潜在数バイアスを測定することの重要性が示唆された。
関連論文リスト
- Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge [17.255487260595565]
ルーブリックに基づく評価は、暗黙的に複数の選択設定に似ており、したがって位置バイアスを有することを示す。
そこで我々は,各スコアオプションを均等に配置するバランスの取れた置換戦略を提案する。
論文 参考訳（メタデータ） (2026-02-02T15:24:37Z) - Can We Hide Machines in the Crowd? Quantifying Equivalence in LLM-in-the-loop Annotation Tasks [8.246529401043128]
我々は、人間とLLMの両方によるラベル付け決定が、個人間で統計的に評価される方法について検討することを目指している。
Krippendorffの$alpha$, paired bootstrapping, and the Two One-Sided t-Tests (TOST) equivalence test procedureに基づく統計的評価法を開発した。
このアプローチをMovieLens 100K と PolitiFact という2つのデータセットに適用すると、LCM が前者の人間のアノテーションと統計的に区別できないことが分かる。
論文 参考訳（メタデータ） (2025-10-08T05:17:33Z) - DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs [1.89915151018241]
我々は、Large Language Models(LLMs)における暗黙のバイアスは倫理的な問題であるだけでなく、技術的な問題でもあると主張している。
我々は、容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)の計算方法を開発した。
論文 参考訳（メタデータ） (2025-05-15T06:53:37Z) - Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究
LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。
我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文 参考訳（メタデータ） (2025-02-17T18:59:02Z) - PCS: Perceived Confidence Scoring of Black Box LLMs with Metamorphic Relations [13.99995125334968]
メタモーフィックリレーショナル(MR)を利用してテキスト入力を分類するLLMの信頼性を評価する手法を提案する。
MRは意味論的に等価だが、テキスト的に異なる入力バージョンを生成する。
予測されたラベルの周波数に基づいて、認識された信頼度スコア(PCS)を算出する。
論文 参考訳（メタデータ） (2025-02-11T02:25:44Z) - Can LLMs Replace Human Evaluators? An Empirical Study of LLM-as-a-Judge in Software Engineering [18.766132076075365]
大規模言語モデル(LLM)は、コード生成のような様々なソフトウェアエンジニアリング(SE)タスクに取り組むためにデプロイされている。
Pass@kメトリックは、広範囲なユニットテストと設定された環境を必要とし、LLM生成したテキストの評価には適していない。
BLEUのような従来のメトリクスは、意味的類似性ではなく語彙のみを測定するが、精査されている。
論文 参考訳（メタデータ） (2025-02-10T06:49:29Z) - SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。
固定だがランダム化されたレコードやモデルに依存する従来のMIAとは対照的に、これらの方法は主にトレーニングされ、ポストホックで収集されたデータセットでテストされる。
このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
論文 参考訳（メタデータ） (2024-06-25T23:12:07Z) - RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。
我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
論文 参考訳（メタデータ） (2024-04-30T13:50:55Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳（メタデータ） (2023-10-15T12:40:30Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳（メタデータ） (2023-05-17T18:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。