論文の概要: Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

• arxiv url: http://arxiv.org/abs/2606.20676v1
• Date: Fri, 12 Jun 2026 15:53:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:13:58.874845
• Title: Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity
• Title（参考訳）: 文化的曖昧さ下におけるMLLM-as-a-Judgeの校正とオリエンテーションの失敗
• Abstract要約: VOIR DIREは、米国と中国本土にまたがる、626の文化的にペアリングされたイメージプロンプトアーティファクトのマルチモーダルベンチマークである。 6つのMLLMにまたがって、バイアスは2つの障害に分解される。 本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。
• 参考スコア（独自算出の注目度）: 43.23157850664282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MLLM-as-a-Judge is conventionally validated by agreement with human annotations, but this metric is undefined when the human pool is culturally heterogeneous. We introduce VOIR DIRE, a multimodal benchmark of 626 culturally paired image--prompt artifacts spanning U.S. and mainland Chinese contexts across food, fashion, and architecture, with annotator pools that are within-pool reliable (a = 0.86/0.74) but cross-pool divergent on evaluation (Q1 r = -0.12). Across six MLLMs, the bias decomposes into two failures: a positivity-floor calibration failure (compressed scale use) and an orientation failure (default to one cultural norm). On this corpus, where contested items are sampled to split the two pools, the floor mechanically validates the more-permissive Chinese reading; persona prompting partially recovers calibration, but the orientation residual survives, evidence the tilt is not reducible to scale compression. Reference-pool in-context demonstrations deepen the orientation residual and inflate the high end rather than restoring use of the low end. Model origin adds a small additive tilt (~0.10 MAE) that is approximately invariant under demonstration. We recommend reporting alignment against each reference pool separately and treating cross-pool divergence as a judge property.
• Abstract（参考訳）: MLLM-as-a-Judgeは従来,ヒトのアノテーションとの一致によって検証されてきたが,ヒトのプールが文化的に異質である場合には定義されていない。 VOIR DIREは、米国と中国本土のコンテクストにまたがる626の文化的にペアのイメージ・プロンプト・アーティファクトのマルチモーダル・ベンチマークであり、アノテータ・プールは、プール内信頼性(a = 0.86/0.74)であるが、評価(Q1 r = -0.12)ではクロスプール・ダイバージェントである。 6つのMLLMにまたがって、バイアスは2つの障害に分解される。 このコーパスでは、2つのプールを分割するために競合するアイテムがサンプリングされ、フロアはより許容度の高い中国語の読みを機械的に検証する。 参照プールインコンテキストのデモは、低い端の使用を回復するのではなく、方向の残差を深くし、ハイエンドを膨らませる。 モデルの起源は小さな加法傾き(~0.10 MAE)を追加し、デモではほぼ不変である。 本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。

関連論文リスト

• Self-Supervised Topologically Invariant Manifold Learning for Railway Image Quality Assessment [20.081901964453074]
  既存のブラインド画像品質評価法(BIQA)は、実世界の領域における一般化を制限する合成主観的アノテーションに依存している。 境界制約下での位相不変多様体学習に基づく完全自己教師付きBIQAフレームワークを提案する。 我々のフレームワークは標準の合成およびワイルドベンチマークで優れたゼロショット転送性を確保できることを示す。
  論文  参考訳（メタデータ） (2026-08-15T13:08:06Z)
• MAAM: Anchor-Preserving Compression and Contextual Calibration for Chinese Discriminatory Language Detection [4.939857202189033]
  我々は,機能的視覚的ぼかしに触発された軽量でモデルに依存しないMAAM(Myopia-Astigmatism Anchor Mechanism)を提案する。 また、中国初のLGBT中心の差別言語データセットであるChLGBTについても紹介する。 強いエンコーダのベースラインを越えて、MAAMは3つの予測次元を改良し、精度、F1、ブライアスコア、期待校正誤差が一貫した。
  論文  参考訳（メタデータ） (2026-06-08T07:07:16Z)
• BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
  大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。 このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
  論文  参考訳（メタデータ） (2026-05-09T16:26:49Z)
• Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF [0.3227658251731014]
  大規模言語モデル(LLM)は、低リソース言語の方言に対する性能バイアスを頻繁に示している。 ベンガル方言9方言を対象に,LLM質問応答における方言バイアスを評価するための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-22T18:44:57Z)
• Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook [50.10594064510559]
  DOVEは、人文テキストとLLM出力を直接比較する分散評価フレームワークである。 DOVEは, ダウンストリームタスクと31.56%の相関を達成し, 高い信頼性を保ちながら, 文化ごとのサンプル500点程度の信頼性を維持した。
  論文  参考訳（メタデータ） (2026-03-16T08:33:10Z)
• Are Aligned Large Language Models Still Misaligned? [13.062124372682106]
  Mis-Align Bench は、安全性、価値、文化的側面の相違を分析するための統一されたベンチマークである。 SAVACUは、112のドメイン(またはラベル)にまたがる382,424のミスアライメントデータセットである。
  論文  参考訳（メタデータ） (2026-02-11T19:30:43Z)
• Mitigating Cultural Bias in LLMs via Multi-Agent Cultural Debate [7.517766226036547]
  大規模言語モデル(LLM)は、体系的な西洋中心の偏見を示すが、非西洋の言語がそれを緩和できるかどうかはまだ検討されていない。 我々は、中国語のバイリンガルベンチマークであるCEBiasBenchと、偏見の判断を明確化するためのマルチエージェント投票(MAV)を紹介する。 この枠組みを用いることで、中国はそれを排除するのではなく、単に東アジアの視点に偏見を移すだけであることがわかった。
  論文  参考訳（メタデータ） (2026-01-17T16:00:34Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Better Estimation of the Kullback--Leibler Divergence Between Language Models [62.09293217844222]
  Kullback-Leibler (KL) の言語モデル間のばらつきを推定することは、多くの応用がある。 本稿では, 標準モンテカルロ推定器の偏差が, 標準モンテカルロ推定器の偏差以下であるようなラオ-ブラックウェル化推定器を提案する。
  論文  参考訳（メタデータ） (2025-04-14T18:40:02Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。