Fugu-MT 論文翻訳(概要): A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation

論文の概要: A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation

arxiv url: http://arxiv.org/abs/2605.31351v1
Date: Fri, 29 May 2026 14:28:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.664742
Title: A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation
Title（参考訳）: VLM-as-a-Judge評価のための視覚障害者支援ベンチマーク
Abstract要約: VLM-as-a-Judge Evaluation(VLM-as-a-Judge Evaluation)の最初のベンチマークであるVIABLE(Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation)を紹介する。異なるモデルスケールにわたる7つの審査員の体系的研究は、既存のモデルがすべての評価軸に対してほとんど信頼できないことを示している。本稿では,視覚的エビデンス抽出と分類誘導ワークフローによって判断を補強するモデル非依存型推論時間ハーネスであるVIA-Judge-Agentを提案する。
参考スコア（独自算出の注目度）: 20.85322322092838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: AI-based Visually Impaired Assistance (VIA) remains challenging, largely due to the high cost of human evaluation. The VLM-as-a-Judge paradigm may offer a promising alternative, although it has mostly been studied in general domains. We therefore ask whether such judges can be trusted for VIA tasks. To investigate this question, we introduce VIABLE (Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation), the first benchmark for VLM-as-a-Judge evaluation in VIA. VIABLE contains over 300K judgment samples across three scenarios and introduces an Effectiveness--Impartiality--Stability framework with a 12-mode failure taxonomy. Based on VIABLE, our systematic study of seven judges across different model scales shows that existing models are largely unreliable across all evaluation axes. The strongest judge, GPT-5.4, achieves only 52.6% single-failure diagnostic accuracy, yet exhibits the highest self-preference rate at 94.2%; while open-source judges are strongly biased and adversarially fragile. To address these issues, we propose VIA-Judge-Agent, a model-agnostic inference-time harness that augments judges with visual evidence extraction and a taxonomy-guided workflow. It enables positive improvements in diagnostic accuracy and downstream VIA responses more preferred by BLV users. Data and code are available at: https://github.com/YiyiyiZhao/VIABLE
Abstract（参考訳）: AIベースの視覚障害者支援(VIA)は、人的評価のコストが高いため、依然として困難である。 VLM-as-a-Judgeパラダイムは、一般的なドメインで研究されているが、有望な代替手段を提供するかもしれない。したがって、このような裁判官がVIAタスクを信頼できるかどうかを問う。そこで本研究では,VLM-as-a-Judge評価のための第1のベンチマークであるVIABLE(Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation)を紹介する。 VIABLEには3つのシナリオにわたる300K以上の判定サンプルが含まれており、12モードの障害分類を備えたエフェクトネス-イミタリティ-安定性フレームワークが導入されている。 VIABLEに基づいて、異なるモデルスケールにわたる7つの審査員の体系的な研究は、既存のモデルがすべての評価軸に対してほとんど信頼できないことを示している。最強の判事であるGPT-5.4は、52.6%の単一障害診断精度しか達成していないが、94.2%という高い自己参照率を示している。これらの問題に対処するため,視覚的エビデンス抽出と分類誘導ワークフローによって判断を補強するモデルに依存しない推論時ハーネスであるVIA-Judge-Agentを提案する。 BLVユーザが好む診断精度と下流VIA応答の肯定的な改善を可能にする。データとコードは、https://github.com/YiyiZhao/VIABLE.comで入手できる。

関連論文リスト

NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文参考訳（メタデータ） (2026-09-10T08:34:56Z)
Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。モデルのタスク精度は、その判断精度を強く予測することを示す。より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
論文参考訳（メタデータ） (2026-09-10T00:25:39Z)
JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols [27.45301899307822]
JUDGESTEALERは、ポイントワイドスコアリング、ペアワイド比較、リストワイドランキングプロトコル間での判定機能を複製する、クエリ効率のよいモデル抽出フレームワークである。強力なクロスプロトコル契約を利用してポイントワイズスコアを取得し、それらを追加の被害者クエリなしでペアワイズとリストワイズに変換する。既存の抽出基準を73.3%、87.0%、71.6%まで上回り、それぞれポイントワイド、ペアワイド、リストワイドで評価されている。
論文参考訳（メタデータ） (2026-08-27T11:28:32Z)
K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge [51.93484138861584]
視覚生成モデルの急速な開発により、よりスケーラブルで人間に合わせた評価方法の必要性が高まっている。 K-Sort Evalは,後方補正と動的マッチングを統合した信頼性と効率的なVLMに基づく評価フレームワークである。実験の結果、K-Sort EvalはK-Sort Arenaと一致した評価結果を提供する。
論文参考訳（メタデータ） (2026-02-10T05:07:46Z)
DatBench: Discriminative, Faithful, and Efficient VLM Evaluations [17.234602646114997]
経験的評価は、基礎モデルにおける研究の進展を導く主要なコンパスとして機能する。評価が満足すべき3つのデシラタを提案する。モダリティと応用への忠実さ、品質の異なるモデル間の識別可能性、計算効率である。私たちはDatBench-Fullをリリースした。DatBench-Fullは9つのVLM機能にまたがる33のデータセットからなるクリーンな評価スイートであり、DatBenchは平均13倍のスピードアップを達成する識別サブセットである。
論文参考訳（メタデータ） (2026-01-05T18:07:51Z)
Self-Improving VLM Judges Without Human Annotations [74.29324865147838]
自己合成データのみを用いて,人間の好みのアノテーションを使わずにVLM判断モデルを自己学習する枠組みを提案する。提案手法は,Llama-3.2-11Bマルチモーダル判定を0.38から0.51に改善する。これらの注釈のない結果の全体的な強みは、VLM能力の急速な向上とともに進化する将来の自己判断の可能性を示している。
論文参考訳（メタデータ） (2025-12-02T20:52:19Z)
Fantastic Bugs and Where to Find Them in AI Benchmarks [28.604919035475188]
本稿では, 応答パターンの統計的解析を利用して, 潜在的に無効な質問にフラグを付ける手法を提案する。我々のアプローチは、平均スコアがモデル性能を十分に要約する、AI評価で一般的に使用されるコア仮定に基づいています。提案手法は,9つの広く使用されているベンチマークにおいて,最大84%の精度で問題のある問題を特定するために専門家のレビューをガイドする。
論文参考訳（メタデータ） (2025-11-20T22:49:21Z)
CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文参考訳（メタデータ） (2025-07-12T01:34:24Z)
Is Your Video Language Model a Reliable Judge? [9.434966074326056]
ビデオ言語モデル(VLM)は、様々なシナリオにおいてより多くのアプリケーションを得る。堅牢でスケーラブルなパフォーマンス評価の必要性はますます重要になっています。既存の手法はしばしば評価器として単一のVLMに依存している。本研究は,裁判官のプールが信頼できないモデルと信頼できないモデルの両方を含む場合,そのようなアプローチの有効性について検討する。
論文参考訳（メタデータ） (2025-03-07T23:17:59Z)
AVTrustBench: Assessing and Enhancing Reliability and Robustness in Audio-Visual LLMs [70.4578433679737]
我々は9つの細工されたタスクにまたがる600万のサンプルからなるAudio-Visual Trustworthiness Assessment Benchmark (AVTrustBench)を紹介する。ベンチマークを用いて、13の最先端AVLLMを広範囲に評価した。その結果、既存のモデルのほとんどは、人間のような理解を達成できないことが判明した。
論文参考訳（メタデータ） (2025-01-03T23:03:24Z)
VL-RewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models [66.56298924208319]
視覚言語生成報酬モデル(VL-GenRM)は、マルチモーダルAIシステムの調整と評価において重要な役割を果たす。現在の評価方法は、主に従来のタスクからのAIアノテーション付き好みラベルに依存している。 VL-RewardBenchは、一般的なマルチモーダルクエリ、視覚幻覚検出、複雑な推論タスクにまたがる包括的なベンチマークである。
論文参考訳（メタデータ） (2024-11-26T14:08:34Z)
Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文参考訳（メタデータ） (2023-06-14T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。