論文の概要: MLLM-as-a-Judge Exhibits Model Preference Bias

• arxiv url: http://arxiv.org/abs/2604.11589v1
• Date: Mon, 13 Apr 2026 15:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.637474
• Title: MLLM-as-a-Judge Exhibits Model Preference Bias
• Title（参考訳）: MLLM-as-a-Judge Exhibits Model Preference Bias
• Abstract要約: MLLM-as-a-Judgeメソッドが特定のMLLMによって生成されるテキストをどの程度好んでいるかは、まだ不明である。 12個のMLLMから採取した1.29M字幕スコアペアを用いて,代表MLLMは自己選好バイアスを呈する傾向を示した。 その結果,Pommsは性能を維持しつつ,モデル固有の嗜好バイアスを効果的に緩和することを示した。
• 参考スコア（独自算出の注目度）: 3.369875207401089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic evaluation using multimodal large language models (MLLMs), commonly referred to as MLLM-as-a-Judge, has been widely used to measure model performance. If such MLLM-as-a-Judge methods were biased, they could distort model comparisons and benchmark-driven scientific progress. However, it remains unclear to what extent MLLM-as-a-Judge methods favor or disfavor text generated by specific MLLMs. In this study, we propose Philautia-Eval to investigate such model-specific preference bias. Philautia-Eval quantifies the degree of the bias by disentangling preference tendencies from differences in generation quality. Using 1.29M caption-score pairs collected from 12 MLLMs, we found that representative MLLMs tend to exhibit self-preference bias. Moreover, experimental results indicate mutual preference bias within particular model families, which is potentially driven by reused connectors and overlapping instruction-tuning resources. Finally, we introduce a simple ensemble of MLLMs, Pomms. Our results demonstrated that Pomms effectively mitigated the model-specific preference bias while maintaining performance.
• Abstract（参考訳）: MLLM-as-a-Judge(MLLM-as-a-Judge)と呼ばれるマルチモーダル大言語モデルを用いた自動評価は、モデル性能を測定するために広く用いられている。 もしそのようなMLLM-as-a-Judge法が偏りがあれば、モデルの比較とベンチマークによる科学的進歩を歪めることができる。 しかし、MLLM-as-a-Judgeメソッドが特定のMLLMが生成したテキストをどの程度好むかは定かではない。 本研究では,このようなモデル固有の嗜好バイアスを調べるためにPhillautia-Evalを提案する。 Philautia-Evalは、世代品質の違いから優先順位を遠ざけることによってバイアスの度合いを定量化する。 12個のMLLMから採取した1.29M字幕スコアペアを用いて,代表MLLMは自己選好バイアスを呈する傾向を示した。 さらに、実験結果から、再利用されたコネクタと重複する命令チューニングリソースによって駆動される可能性のある、特定のモデルファミリー内の相互優先バイアスを示す。 最後に,MLLM,Pommsの簡単なアンサンブルを紹介する。 その結果,Pommsは性能を維持しつつ,モデル固有の嗜好バイアスを効果的に緩和することを示した。

関連論文リスト

• Beyond Accuracy: LLM Variability in Evidence Screening for Software Engineering SLRs [0.29737220923371155]
  大規模言語モデル(LLM)は、体系的な文献レビューにおいて、スクリーニングの研究に使用される。 急速な取り込みにもかかわらず、そのようなモデルが研究スクリーニングフェーズでどのように振る舞うかは限定的な証拠である。 本研究では,LLMの性能に及ぼす入力メタデータ(抽出,タイトル,キーワード)の影響について検討した。
  論文  参考訳（メタデータ） (2026-04-29T08:55:16Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Nonparametric LLM Evaluation from Preference Data [86.96268870461472]
  本研究では,大規模言語モデル (LLM) を選好データから比較・ランク付けするための非パラメトリック統計フレームワークDMLEvalを提案する。 我々のフレームワークは、LLMを比較したり、ランキングしたりするための強力な最先端の手法を実践者に提供します。
  論文  参考訳（メタデータ） (2026-01-29T15:00:07Z)
• Play Favorites: A Statistical Method to Measure Self-Bias in LLM-as-a-Judge [17.40713507922006]
  大規模言語モデル(LLM)は、他の出力の迅速かつ信頼性の高い評価を提供する裁判官として機能する。 LLMは、自己バイアス(self-bias)として知られる、過度に好ましい評価を自身のアウトプットに体系的に割り当てる。 本稿では,自己バイアスを特定・推定できる仮定を明示的に定式化する統計的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-08-08T21:22:12Z)
• Relative Bias: A Comparative Framework for Quantifying Bias in LLMs [29.112649816695203]
  相対バイアス(Relative Bias)は、LLMの振る舞いが特定のターゲットドメイン内の他のLLMとどのようにずれているかを評価するために設計された手法である。 本稿では,(1)埋め込み空間上の文表現を通して相対的バイアスパターンをキャプチャする埋め込み変換解析と,(2)言語モデルを用いて出力を相対的に評価するLLM-as-a-Judgeという2つの相補的手法を紹介する。 検証のための統計的テストに続くバイアスとアライメントのシナリオに関するいくつかのケーススタディに我々のフレームワークを適用し、この2つのスコアリング手法の間に強い整合性を見出した。
  論文  参考訳（メタデータ） (2025-05-22T01:59:54Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Self-Preference Bias in LLM-as-a-Judge [13.880151307013321]
  大規模言語モデル(LLM)における自己参照バイアスを測定するための新しい指標を提案する。 以上の結果から, GPT-4は自己選好バイアスがかなり高いことが示唆された。 このことは、偏見の本質は難易度にあることを示唆し、自己選好バイアスは LLM がより親しみやすいテキストを好むため存在することを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T07:42:18Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Large Language Model (LLM) Bias Index -- LLMBI [0.0]
  LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。 年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。 OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
  論文  参考訳（メタデータ） (2023-12-22T15:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。