論文の概要: Mitigating Self-Preference by Authorship Obfuscation

• arxiv url: http://arxiv.org/abs/2512.05379v1
• Date: Fri, 05 Dec 2025 02:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:56.875865
• Title: Mitigating Self-Preference by Authorship Obfuscation
• Title（参考訳）: オーサシップの難読化による自己選好の緩和
• Authors: Taslim Mahbub, Shi Feng,
• Abstract要約: 言語モデル(LM)判定器は、LM出力の品質を評価するために広く使われている。 多くの利点があるにもかかわらず、LMの審査員は評価において自身の整合性を損なう可能性のあるバイアスについて示している。 LM審査員は、他のLMや人間よりも独自の回答を好む。
• 参考スコア（独自算出の注目度）: 7.267505038291745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) judges are widely used to evaluate the quality of LM outputs. Despite many advantages, LM judges display concerning biases that can impair their integrity in evaluations. One such bias is self-preference: LM judges preferring their own answers over those produced by other LMs or humans. The bias is hard to eliminate as frontier LM judges can distinguish their own outputs from those of others, even when the evaluation candidates are not labeled with their sources. In this paper, we investigate strategies to mitigate self-preference by reducing the LM judges' ability to recognize their own outputs. We apply black-box perturbations to evaluation candidates in pairwise comparison to obfuscate the authorship and reduce self-recognition. We find that perturbations as simple as synonym replacement for a few words predictably reduce self-preference. However, we also uncover fundamental challenges to eliminating the bias: when we extrapolate our perturbations to a more complete neutralization of stylistic differences between the evaluation candidates, self-preference recovers. Our findings suggest that self-recognition and self-preference can happen on many semantic levels, and complete mitigation remains challenging despite promising initial results.
• Abstract（参考訳）: 言語モデル(LM)判定器は、LM出力の品質を評価するために広く使われている。 多くの利点があるにもかかわらず、LMの審査員は評価において自身の整合性を損なう可能性のあるバイアスについて示している。 LMの判断者は、他のLMや人間よりも独自の答えを好む。 このバイアスは、評価候補がソースにラベル付けされていない場合でも、フロンティアLM審査員が自身のアウトプットを他と区別できるため、排除するのは難しい。 本稿では,LM審査員の自己評価能力の低下による自己選好の緩和策について検討する。 著者の難読化と自己認識の低下を両面から比較して評価対象にブラックボックス摂動を適用した。 摂動は、いくつかの単語の同義語に代えて単純なものであり、予測可能な自己選好を減少させる。 しかし、偏見を排除するための根本的な課題も明らかにした: 評価候補間の形式的差異のより完全な中和に摂動を外挿すると、自己選好が回復する。 本研究は, 自己認識と自己評価が多くの意味レベルで起こりうることを示唆し, 有望な初期結果にもかかわらず, 完全な緩和は困難なままである。

関連論文リスト

• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations [3.262230127283452]
  審査員が不正に完了したクエリに応答すると,評価者が自己優先の判断を下す可能性があることを示す。 評価基準(Evaluator Quality Baseline)を導入し,審査員が不正に投票した確率と,別のモデルから不正な反応を投票した確率とを比較した。
  論文  参考訳（メタデータ） (2026-01-30T04:38:18Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Beyond the Surface: Measuring Self-Preference in LLM Judgments [35.66285592603435]
  大規模言語モデル(LLM)は、裁判官として機能する際の自己選好バイアスを示す。 既存の方法は、審査員モデルが割り当てるスコアと、他のモデルからのレスポンスに割り当てるスコアの差を計算することで、このバイアスを測定するのが一般的である。 そこで本研究では,自己選好バイアス(自己選好バイアス)を測定するDBGスコアを提案する。
  論文  参考訳（メタデータ） (2025-06-03T08:12:47Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Do LLM Evaluators Prefer Themselves for a Reason? [23.007963281858792]
  大規模言語モデル(LLM)は、ベンチマーク、報酬モデリング、自己修正といったアプリケーションにおける自動評価手段として、ますます使われている。 以前の作業では、LLMが自身の生成したレスポンスを優先する、潜在的な自己参照バイアスが強調されていた。 自己参照は有害か、それとも、より強力なモデルの真に高品質な出力を単純に反映しているか?
  論文  参考訳（メタデータ） (2025-04-04T18:09:23Z)
• Self-Preference Bias in LLM-as-a-Judge [13.880151307013321]
  大規模言語モデル(LLM)における自己参照バイアスを測定するための新しい指標を提案する。 以上の結果から, GPT-4は自己選好バイアスがかなり高いことが示唆された。 このことは、偏見の本質は難易度にあることを示唆し、自己選好バイアスは LLM がより親しみやすいテキストを好むため存在することを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T07:42:18Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• LLM Evaluators Recognize and Favor Their Own Generations [33.672365386365236]
  自己認識能力が自己評価に寄与するかどうかを検討する。 自己認識能力と自己参照バイアスの強さとの間には線形な相関関係が認められた。 我々は、自己認識が偏見のない評価やAIの安全性をより一般的に阻害する方法について論じる。
  論文  参考訳（メタデータ） (2024-04-15T16:49:59Z)
• When Hindsight is Not 20/20: Testing Limits on Reflective Thinking in Large Language Models [15.781930031346105]
  自己回帰はTrthfulQAのパフォーマンスを高めるが、HotpotQAの結果に悪影響を及ぼす。 自己回帰は、モデルが最初は正しくない可能性が低く、全体的な疑問の難しさが高い場合に最も有益であることが分かる。 そこで本研究では,自己回帰の実施時期を判断するためのガイドラインを提案する。
  論文  参考訳（メタデータ） (2024-04-14T02:47:32Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。