論文の概要: FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2602.06625v1
• Date: Fri, 06 Feb 2026 11:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.381823
• Title: FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge
• Title（参考訳）: FairJudge: LLM-as-a-Judgeの適応的で不偏で一貫性のある方法
• Authors: Bo Yang, Lanfei Feng, Yunkui Chen, Yu Zhang, Xiao Xu, Shijian Li,
• Abstract要約: 既存のLCM-as-a-Judgeシステムでは、タスクやドメイン固有の評価基準への適応性が制限されている。 適応的で、偏りがあり、一貫したLCM-as-a-JudgeであるFairJudgeを提案する。
• 参考スコア（独自算出の注目度）: 10.584937371987742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing LLM-as-a-Judge systems suffer from three fundamental limitations: limited adaptivity to task- and domain-specific evaluation criteria, systematic biases driven by non-semantic cues such as position, length, format, and model provenance, and evaluation inconsistency that leads to contradictory judgments across different evaluation modes (e.g., pointwise versus pairwise). To address these issues, we propose FairJudge, an adaptive, debiased, and consistent LLM-as-a-Judge. Unlike prior approaches that treat the judge as a static evaluator, FairJudge models judging behavior itself as a learnable and regularized policy. From a data-centric perspective, we construct a high-information-density judging dataset that explicitly injects supervision signals aligned with evaluation behavior. Building on this dataset, we adopt a curriculum-style SFT-DPO-GRPO training paradigm that progressively aligns rubric adherence, bias mitigation, and cross-mode consistency, while avoiding catastrophic forgetting. Experimental results on multiple internal and public benchmarks show that FairJudge consistently improves agreement and F1, reduces non-semantic biases, and outperforms substantially larger instruction-tuned LLMs. All resources will be publicly released after acceptance to facilitate future research.
• Abstract（参考訳）: 既存のLCM-as-a-Judgeシステムには、タスクやドメイン固有の評価基準への適応性の制限、位置、長さ、フォーマット、モデル証明といった非意味的な手がかりによって駆動される体系的バイアス、異なる評価モード(例えば、ポイントワイド対ペアワイズ)で矛盾する判断につながる評価の不整合の3つの基本的な制限がある。 これらの問題に対処するため、適応的で、偏りがあり、一貫したLCM-as-a-JudgeであるFairJudgeを提案する。 裁判官を静的評価者として扱う以前のアプローチとは異なり、FairJudgeは行動自体を学習可能で規則化されたポリシーとして判断する。 データ中心の観点から,評価行動に整合した監視信号を明示的に注入する高情報密度判定データセットを構築した。 このデータセットをベースとしたカリキュラムスタイルのSFT-DPO-GRPOトレーニングパラダイムを採用する。 複数の内部および公開ベンチマークの実験結果から、FairJudgeは一貫性とF1を一貫して改善し、非セマンティックバイアスを低減し、命令調整 LLM を大幅に上回ることを示した。 今後の研究を促進するため、すべてのリソースは受諾後に公開されます。

関連論文リスト

• Distribution-Calibrated Inference time compute for Thinking LLM-as-a-Judge [5.855996386998925]
  大きな言語モデル(LLM)をペアの選好の判断に使用すると、単一サンプルレベルではノイズが残る。 本研究では,各項目ごとにn個の独立した思考型サンプルを生成する評価器の推論時間計算(ITC)について検討する。
  論文  参考訳（メタデータ） (2025-12-02T18:46:47Z)
• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
  大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。 本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。 我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:52:29Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• UDA: Unsupervised Debiasing Alignment for Pair-wise LLM-as-a-Judge [23.497453639857852]
  本研究では,エロ評価システムを動的に調整することで,不一致を解消する枠組みであるUDAを提案する。 UDAは、すべての裁判官のエロ軌道間の分散を最小限にすることを目的として、完全に教師なしの方法で運営されている。 実験の結果、UDA は Judge の標準偏差を 63.4% まで減少させ、人間の判断との平均的相関を 24.7% 向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-13T11:41:01Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs [7.197702136906138]
  モデルフェアネスのきめ細かい評価を可能にするため,不確実性を考慮した評価基準であるUCerFを提案する。 現在のデータセットにおけるデータサイズ、多様性、明快さの問題を観察し、新しいジェンダー占有公正度評価データセットを導入する。 我々は、メトリックとデータセットを使用してベンチマークを確立し、それを10のオープンソースAIシステムの動作評価に適用する。
  論文  参考訳（メタデータ） (2025-05-29T20:45:18Z)
• Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs [25.62533031580287]
  大規模言語モデル(LLM)のバイアスは、その信頼性と公平性を著しく損なう。 モデルベクトル空間の構造に基づくテストセットのないバイアス分析フレームワークであるBiasLensを提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:50:23Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。