論文の概要: Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations

• arxiv url: http://arxiv.org/abs/2508.21164v2
• Date: Tue, 02 Sep 2025 16:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 14:24:52.713175
• Title: Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations
• Title（参考訳）: 大規模言語モデルにおけるラベル誘発バイアスの自己評価と相互評価の定量化
• Authors: Muskan Saraf, Sajjad Rezvani Boroujeni, Justin Beaudry, Hossein Abedi, Tom Bush,
• Abstract要約: 本研究では,ChatGPT,Gemini,Claudeによる自己モデルおよび横断モデル評価のバイアスについて検討した。 各モデルで書かれたブログ投稿は、全体的な選好投票と品質評価の両方を用いて、3つすべてで評価された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to evaluate outputs, yet their judgments may be influenced. This study examines bias in self- and cross-model evaluations by ChatGPT, Gemini, and Claude under four conditions: no labels, true labels, and two false-label scenarios. Blog posts authored by each model were evaluated by all three using both overall preference voting and quality ratings for Coherence, Informativeness, and Conciseness, with all scores expressed as percentages for direct comparison. Results reveal striking asymmetries: the "Claude" label consistently boosts scores, while the "Gemini" label consistently depresses them, regardless of actual content. False labels frequently reversed rankings, producing shifts of up to 50 percentage points in preference votes and up to 12 percentage points in converted quality ratings. Gemini's self-scores collapsed under true labels, while Claude's self-preference intensified. These findings show that perceived model identity can heavily distort high-level judgments and subtly influence detailed quality ratings, underscoring the need for blind or multimodel evaluation protocols to ensure fairness in LLM benchmarking.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、出力を評価するためにますます使われていますが、その判断は影響を受けます。 本研究では,ChatGPT,Gemini,Claudeの自己モデル評価と相互モデル評価のバイアスについて,ラベルなし,真のラベルなし,偽ラベル2つのシナリオの4つの条件下で検討した。 各モデルで作成したブログ投稿は、全体選好投票とコヒーレンス、インフォーマティブネス、簡潔さのクオリティ評価の両方を用いて、全スコアを直接比較のパーセンテージとして表した。 結果は顕著な非対称性を示しており、"Claude"ラベルはスコアを継続的に増加させ、"Gemini"ラベルは実際のコンテンツに関係なく、それらを継続的に低下させる。 偽ラベルはしばしばランキングを逆転させ、選好投票で最大50ポイント、変換された品質評価で最大12ポイントのシフトを生み出した。 ジェミニの自己スコアは真のレーベルで崩壊し、クロードの自己選好は強まった。 これらの結果から,LLMベンチマークの公平性を確保するためのブラインドやマルチモデル評価プロトコルの必要性を浮き彫りにして,高次判断を著しく歪曲し,詳細な品質評価に微妙に影響を及ぼす可能性が示唆された。

関連論文リスト

• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• The Tile: A 2D Map of Ranking Scores for Two-Class Classification [10.89980029564174]
  2クラス分類器のための1つの2次元マップにおいて、ランキングスコアの無限度を整理する新しい多目的ツールTileを提案する。 本研究では,前者の影響やROC空間との対応など,基礎となるランキングスコアの特性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T16:27:59Z)
• Reducing Biases in Record Matching Through Scores Calibration [1.5530839016602822]
  スコアバイアスの測定と低減のためのしきい値に依存しないフレームワークを提案する。 基準しきい値に基づく基準値の下では公平に見えても,いくつかの最先端マッチング手法がかなりのスコアバイアスを示すことを示す。 本稿では,2つのポストプロセッシングスコアキャリブレーションアルゴリズムを導入する。第1のキャリブは,ワッサーシュタイン・バリセンタを用いてグループワイズスコアの分布を調整し,人口統計学的パーティを目標とする。 第2のカラリブは、ラベルに依存したバイアス、例えば平等な機会を減らそうと予測されたラベルの条件である。
  論文  参考訳（メタデータ） (2024-11-03T21:01:40Z)
• Online Multi-Label Classification under Noisy and Changing Label Distribution [9.17381554071824]
  本稿では,Nuisy and Changing Label Distribution (NCLD) に基づくオンラインマルチラベル分類アルゴリズムを提案する。 NCLDへの頑健さは3つの新作の恩恵を受けるため,ラベルスコアとラベルランキングを高い精度で同時にモデル化することを目的としている。
  論文  参考訳（メタデータ） (2024-10-03T11:16:43Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification [85.76130799062379]
  偽陰性ラベルがモデルの説明にどのように影響するかを考察する。 本稿では,部分ラベルで学習したモデルの属性スコアを向上し,その説明をフルラベルで学習したモデルと類似させる。
  論文  参考訳（メタデータ） (2023-04-04T14:00:59Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。