論文の概要: When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts

• arxiv url: http://arxiv.org/abs/2610.01243v1
• Date: Thu, 01 Oct 2026 07:40:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.97227
• Title: When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts
• Title（参考訳）: 裁判官法施行時-文化遺産におけるVLMガイド画像選択の検証
• Abstract要約: 視覚言語モデル(VLM)は、複数の生成された画像の中から最高のものを選ぶ審査員としての役割を担っている。 我々は、返却された画像と、判事が見たことのない人間の評価と、同じ候補からランダムに選択した画像を比較し、すべての決定を、再注文された候補と繰り返す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) increasingly act as judges that pick the best of several generated images, so their choices decide what users see. Such judges are usually validated by score agreement with human ratings, not by the images they return. We audit VLM judges as decision-makers: on 300 culturally situated prompts, we compare the returned image with human ratings the judge never sees and with random choice from the same candidates, and repeat every decision with the candidates reordered. A 4B-parameter judge barely beats random and falls short of a CLIP similarity baseline. It picks the first image shown in 49% of calls (chance: 28%), and reordering changes its choice on 60% of prompts. For this judge, agreement across orders is informative: decisions that survive reordering are much better than random, whereas agreement with a weaker second judge keeps the wrong ones. An 8B judge shows almost no position bias and outperforms CLIP, yet for it the same filter mostly discards good decisions. Agreement helps only when it targets the judge's failure mode, so filters must be re-audited whenever the judge changes. The 4B judge's slight rise in stereotype ratings is no longer detectable after aggregating across orders or with the larger judge.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、複数の生成された画像の中から最高のものを選ぶ審査員としての役割を担っている。 このような判断は、通常、返却した画像ではなく、人間の評価とのスコア合意によって検証される。 我々は、VLM審査員を意思決定者として監査する:文化的に位置付けられた300のプロンプトでは、返却された画像と、判事が決して見ることのない人間のレーティングを比較し、同じ候補からランダムに選択し、全ての決定を、再注文された候補者と繰り返す。 4Bパラメータのジャッジは、ほとんどランダムに打ち負かさず、CLIP類似性のベースラインから外れます。 49%の通話で表示された最初の画像(28%)を選択し、60%のプロンプトで選択をリオーダーする。 この裁判官にとって、命令間での合意は有益である: 再注文を生き残る決定はランダムよりもはるかに良いが、弱い第2判事との合意は間違ったものを保持する。 8Bの判事は位置バイアスがほとんどなく、CLIPよりも優れています。 合意は、裁判官の失敗モードを目標とする場合にのみ有効であり、裁判官が変わるたびにフィルタを再検査する必要がある。 4B判事のステレオタイプ格付けの微妙な上昇は、命令にまたがったり、より大きな審査員と結んだ後、もはや検出できない。

関連論文リスト

• JudgeProfile: Understanding and Steering Subjectivity in LLM Judges [33.77747232529031]
  審査員は、明瞭さ、正確さ、詳細など、特定の属性にまたがる2つの反応を比較検討する。 裁判官は、全体的な選択がばらばらになっても、しばしば属性判断に同意する。
  論文  参考訳（メタデータ） (2026-09-29T04:43:28Z)
• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• Do Judges Behave Like Algorithms? [18.681366029551135]
  テキサス州ハリス郡における軽視的保釈公聴会における司法判断について検討する。 利用可能な裁判所データを用いて,判事がアルゴリズムに類似するものに従うか否かを調査する。 我々の結果は、これらの審査員が一般的にアルゴリズム的に振る舞うことを示している。
  論文  参考訳（メタデータ） (2026-08-11T02:46:41Z)
• When the Judge Should Not Decide: Evidence-Locked, Non-Compensatory Selection Bounds LLM-Judge Failure in Reasoning Pipelines [4.0604823050005345]
  決定のコストは、審査員が組み込まれている決定規則よりも、判断精度にかかっていることが示される。 GRPOの4つの政策による凍結した候補プールについて、非拘束のスカラーのDeepSeek-R1-7B判事は、回答レベルの多数決でほとんど何も買わない。 次に、同じ裁判官を、タスク適応非補償規則であるEvidence-Locked DeriveGateGate (EL-DGR) に従属させる。
  論文  参考訳（メタデータ） (2026-08-07T23:23:00Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。