Fugu-MT 論文翻訳(概要): Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias

論文の概要: Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias

arxiv url: http://arxiv.org/abs/2607.11871v1
Date: Mon, 13 Jul 2026 17:55:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 17:47:21.579491
Title: Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias
Title（参考訳）: LLM-as-Judgeバイアスの機械的解釈可能性
Abstract要約: 我々は、同じバイアスが裁判官の隠された状態における表現レベルの説明を許容していると主張している。審査員7名,バイアスタイプ7名,ベンチマーク9名の3つの結果が報告された。
参考スコア（独自算出の注目度）: 28.271298519059034
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing studies of LLM-as-judge scoring bias work predominantly at the input-output level: they perturb inputs, measure score deltas, and propose prompt-level mitigations. We argue that the same biases admit a representation-level account in the judge's hidden state, complementary to the input-output view and operationally useful in ways it does not afford. We report three findings, across seven judges, seven bias types, and nine benchmarks. Geometry: baseline judging inputs occupy a tight activation manifold while biased inputs are displaced along a low-dimensional, type-specific subspace that sharpens with depth and is recovered consistently by three families of estimators. Causal control: steering hidden states along this subspace drives scoring in both directions, forward shifts reproducing biased scoring on clean inputs and reverse shifts restoring baseline scoring on biased ones, while matched-norm random directions produce shifts an order of magnitude smaller. Operational: a simple linear projection onto the same bias-direction features anticipates judge failures on three entirely unseen benchmarks, substantially outperforming text-based alternatives. Reading bias as activation geometry, rather than as input-output noise, unifies geometric structure, causal control, and operational prediction within a single framework. The project page is available at https://xzx34.github.io/unfair-judge/
Abstract（参考訳）: LLM-as-judge 評価バイアスの既存の研究は、入力出力レベルで主に機能し、入力を摂動させ、スコアデルタを測定し、即時レベルの緩和を提案する。我々は、同じバイアスが、裁判官の隠された状態における表現レベルの説明を許容し、入力出力の観点を補完し、その余裕のない方法で運用的に有用であると主張している。審査員7名,バイアスタイプ7名,ベンチマーク9名の3つの結果が報告された。幾何学: 入力の基線判定はタイトなアクティベーション多様体を占有する一方、偏りのある入力は、深さで鋭くし、推定器の3つのファミリーによって一貫して復元される低次元のタイプ固有部分空間に沿って変位する。因果制御: この部分空間に沿って隠れた状態を操ることは、両方の方向でスコアを駆動し、前方シフトはクリーンな入力でバイアス付きスコアを再現し、逆シフトはバイアス付きスコアを復元する。操作: 同じバイアス指向機能に対する単純な線形投影は、完全に見えない3つのベンチマークで判断の失敗を予想する。入力出力ノイズではなく、アクティベーション幾何学としての読みバイアスは、幾何学的構造、因果制御、単一のフレームワーク内での動作予測を統一する。プロジェクトページはhttps://xzx34.github.io/unfair-judge/で公開されている。

関連論文リスト

How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs? [53.58941416780391]
本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。我々は、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータセットの移動、因果的介入の3つの手段によってそれを三角測量する。
論文参考訳（メタデータ） (2026-07-20T16:10:06Z)
Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering [0.0]
大規模な言語モデルは、コードのアーティファクトを評価するために裁判官としてますます使われています。現在のプラクティスには、信頼性とバイアスの原則的な説明が欠けている。計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。
論文参考訳（メタデータ） (2026-04-18T02:35:05Z)
CogBias: Measuring and Mitigating Cognitive Bias in Large Language Models [8.81733256907103]
大規模言語モデル(LLM)は、高い意思決定コンテキストにますますデプロイされている。認知バイアスは, 判断, 情報処理, 社会的, 反応の4種類の認知バイアスのすべてに対して, 体系的に現れることを示す。活性化ステアリングを用いてバイアスの挙動を変調し,26～32%のバイアススコアの低減を実現した。
論文参考訳（メタデータ） (2026-04-01T20:22:14Z)
CatRAG: Functor-Guided Structural Debiasing with Retrieval Augmentation for Fair LLMs [1.7697598440512727]
構造的デバイアスを誘導する構造的デバイアス(RAG)を関手と統合する,二重進行型フレームワークであるCatRAG Debiasingを提案する。オープンソースの3つのLCM(Meta Llama-3、OpenAI GPT-OSS、Google Gemma-3)を対象としたBias Benchmark for Question Answering (BBQ)では、CatRAGは対応するベースモデルに対して最大40%の精度で、事前のデバイアス法よりも10%以上の精度を実現している。
論文参考訳（メタデータ） (2026-03-23T03:33:13Z)
FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge [10.584937371987742]
既存のLCM-as-a-Judgeシステムでは、タスクやドメイン固有の評価基準への適応性が制限されている。適応的で、偏りがあり、一貫したLCM-as-a-JudgeであるFairJudgeを提案する。
論文参考訳（メタデータ） (2026-02-06T11:35:32Z)
A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文参考訳（メタデータ） (2026-02-04T15:13:35Z)
Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文参考訳（メタデータ） (2024-08-07T17:14:58Z)
Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文参考訳（メタデータ） (2024-07-01T09:06:57Z)
Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文参考訳（メタデータ） (2024-03-15T02:04:35Z)
Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T07:41:03Z)
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms [19.86635585740634]
バイアス注入型サンドボックスツールの概念と実装について, 各種バイアスの公平性について検討する。既存のツールキットとは異なり、私たちのツールはMLパイプラインに事実上バイアスを注入する制御された環境を提供します。特に、バイアス注入前において、偏りのない状態の真のラベルに介入した後に生じる予測を比較することで、与えられた治療法が注入されたバイアスを軽減することができるかどうかを検証できる。
論文参考訳（メタデータ） (2022-04-21T16:12:19Z)
Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。