論文の概要: MLLM-as-a-Judge Exhibits Model Preference Bias

• arxiv url: http://arxiv.org/abs/2604.11589v1
• Date: Mon, 13 Apr 2026 15:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.637474
• Title: MLLM-as-a-Judge Exhibits Model Preference Bias
• Title（参考訳）: MLLM-as-a-Judge Exhibits Model Preference Bias
• Authors: Shuitsu Koyama, Yuiga Wada, Daichi Yashima, Komei Sugiura,
• Abstract要約: MLLM-as-a-Judgeメソッドが特定のMLLMによって生成されるテキストをどの程度好んでいるかは、まだ不明である。 12個のMLLMから採取した1.29M字幕スコアペアを用いて,代表MLLMは自己選好バイアスを呈する傾向を示した。 その結果,Pommsは性能を維持しつつ,モデル固有の嗜好バイアスを効果的に緩和することを示した。
• 参考スコア（独自算出の注目度）: 3.369875207401089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic evaluation using multimodal large language models (MLLMs), commonly referred to as MLLM-as-a-Judge, has been widely used to measure model performance. If such MLLM-as-a-Judge methods were biased, they could distort model comparisons and benchmark-driven scientific progress. However, it remains unclear to what extent MLLM-as-a-Judge methods favor or disfavor text generated by specific MLLMs. In this study, we propose Philautia-Eval to investigate such model-specific preference bias. Philautia-Eval quantifies the degree of the bias by disentangling preference tendencies from differences in generation quality. Using 1.29M caption-score pairs collected from 12 MLLMs, we found that representative MLLMs tend to exhibit self-preference bias. Moreover, experimental results indicate mutual preference bias within particular model families, which is potentially driven by reused connectors and overlapping instruction-tuning resources. Finally, we introduce a simple ensemble of MLLMs, Pomms. Our results demonstrated that Pomms effectively mitigated the model-specific preference bias while maintaining performance.
• Abstract（参考訳）: MLLM-as-a-Judge(MLLM-as-a-Judge)と呼ばれるマルチモーダル大言語モデルを用いた自動評価は、モデル性能を測定するために広く用いられている。 もしそのようなMLLM-as-a-Judge法が偏りがあれば、モデルの比較とベンチマークによる科学的進歩を歪めることができる。 しかし、MLLM-as-a-Judgeメソッドが特定のMLLMが生成したテキストをどの程度好むかは定かではない。 本研究では,このようなモデル固有の嗜好バイアスを調べるためにPhillautia-Evalを提案する。 Philautia-Evalは、世代品質の違いから優先順位を遠ざけることによってバイアスの度合いを定量化する。 12個のMLLMから採取した1.29M字幕スコアペアを用いて,代表MLLMは自己選好バイアスを呈する傾向を示した。 さらに、実験結果から、再利用されたコネクタと重複する命令チューニングリソースによって駆動される可能性のある、特定のモデルファミリー内の相互優先バイアスを示す。 最後に,MLLM,Pommsの簡単なアンサンブルを紹介する。 その結果,Pommsは性能を維持しつつ,モデル固有の嗜好バイアスを効果的に緩和することを示した。

関連論文リスト

• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Self-Preference Bias in LLM-as-a-Judge [13.880151307013321]
  大規模言語モデル(LLM)における自己参照バイアスを測定するための新しい指標を提案する。 以上の結果から, GPT-4は自己選好バイアスがかなり高いことが示唆された。 このことは、偏見の本質は難易度にあることを示唆し、自己選好バイアスは LLM がより親しみやすいテキストを好むため存在することを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T07:42:18Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• Large Language Model (LLM) Bias Index -- LLMBI [0.0]
  LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。 年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。 OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
  論文  参考訳（メタデータ） (2023-12-22T15:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。