論文の概要: Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

• arxiv url: http://arxiv.org/abs/2606.00871v1
• Date: Sat, 30 May 2026 19:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.894216
• Title: Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated
• Title（参考訳）: 都市認知における視覚・言語モデルの評価基準は信頼性に留意して交渉すべきである
• Abstract要約: 視覚言語モデル(VLM)は、街路レベルの画像の構造的記述を生成するためにますます使われている。 本稿では,都市認識のためのVLMのベンチマークは,不一致と棄却を計測結果として扱うべきであると論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly used to generate structured descriptions of street-level imagery for tasks such as streetscape auditing, mapping, and public consultation. These uses combine observable attributes with appraisal categories, and the human targets are often distributions of judgments with disagreement and explicit non-response. This paper argues that benchmarking VLMs for urban perception should treat disagreement and abstention as measurement outcomes, report inter-annotator reliability alongside model alignment, and treat the label space and scoring policy as negotiable artifacts when outputs are intended to inform urban governance. We ground the argument in a benchmark of 100 Montreal street scenes annotated along 30 dimensions by 12 participants from seven community organizations, and in a deterministic zero-shot evaluation of seven VLMs. Across dimensions, model agreement with human consensus co-varies with dimension-level human reliability, and for the appraisal dimension Overall Impression models and annotators exhibit distributional mismatch including different rates of Not applicable. We close with actions for benchmark creators, model developers, and institutions to make uncertainty and benchmark assumptions visible in evaluation reports.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、ストリートスケープ監査、マッピング、公開相談といったタスクのためのストリートレベルの画像の構造的記述を生成するために、ますます使われてきている。 これらは、観測可能な属性と評価可能なカテゴリを組み合わせており、人間のターゲットは、しばしば不一致や明示的な非応答を伴う判断の分布である。 本稿では, 都市認識のためのVLMのベンチマークは, 評価結果として不一致と棄却を扱い, モデルアライメントとともにアノテータ間の信頼性を報告し, アウトプットが都市ガバナンスに影響を及ぼす場合に, ラベル空間とスコアリングポリシーを否定可能なアーティファクトとして扱うべきであることを論じる。 モントリオールの100のストリートシーンのベンチマークでは、7つのコミュニティ組織から12人の参加者が30次元のアノテートを行い、7つのVLMを決定論的にゼロショットで評価した。 次元全体にわたって、次元レベルの人間信頼性を持つ人間コンセンサスとのモデル合意、および評価次元の総称印象モデルとアノテータは、適用しない率の異なる分布ミスマッチを示す。 私たちは、ベンチマーク作成者、モデル開発者、そして機関が評価レポートで不確実性やベンチマークの仮定を見える化するためのアクションに近づきます。

関連論文リスト

• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• Pressure Reveals Character: Behavioural Alignment Evaluation at Depth [3.634215320925722]
  正直、安全、非マニピュレーション、ロバスト性、矯正性、スケジューリングの6つのカテゴリで904のシナリオにまたがるアライメントベンチマークを紹介します。 我々のシナリオでは、モデルを矛盾する命令、シミュレートされたツールアクセス、マルチターンエスカレーションの下に配置し、シングルターン評価が見逃す振る舞いの傾向を明らかにする。 トップパフォーマンスモデルでさえ特定のカテゴリにギャップがあるのに対して、ほとんどのモデルでは一貫性のある弱点が示されています。
  論文  参考訳（メタデータ） (2026-02-24T11:52:17Z)
• Revisiting Reliability in the Reasoning-based Pose Estimation Benchmark [27.134554623769898]
  推論に基づくポーズ推定(RPE)ベンチマークは、ポーズ対応大規模言語モデル(MLLM)の広く採用されている評価標準として登場した。 公平で一貫した定量的評価を妨げる批判的かつベンチマーク品質の問題を特定しました。
  論文  参考訳（メタデータ） (2025-07-17T17:33:11Z)
• Interpretable Multimodal Framework for Human-Centered Street Assessment: Integrating Visual-Language Models for Perceptual Urban Diagnostics [0.0]
  本稿では,新しいマルチモーダルストリート評価フレームワーク(MSEF)を紹介する。 パラメータ効率適応のためにLoRAとP-Tuning v2を用いてフレームワークを微調整する。 このモデルは、客観的特徴に関するF1スコアの0.84と、集約された居住者の知覚との89.3%の一致を達成している。
  論文  参考訳（メタデータ） (2025-06-05T14:34:04Z)
• Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings [36.449658676568234]
  大規模言語モデル(LLM)-as-judgeパラダイムは、モデル出力の安価で信頼性の高い高速な評価要求を満たすために使われてきた。 実世界の文脈評価シナリオにインスパイアされた8つの分割に対して2,000の挑戦的な応答対を持つ判定ベンチマークであるContextualJudgeBenchを提案する。 我々の総合的研究は、文脈情報とその評価基準が最先端モデルにおいても重要な課題であることを示している。
  論文  参考訳（メタデータ） (2025-03-19T18:09:19Z)
• Negotiative Alignment: Embracing Disagreement to Achieve Fairer Outcomes -- Insights from Urban Studies [1.3787753513429983]
  診断パターンは本例では体系的であった。 グループディスカッションでは、情報のギャップは減ったが、価値の衝突は減った。 意見の不一致を信号として扱い、合計と共に最悪のグループの結果を報告することは、プランナーやAI実践者がトレードオフに遭遇し、少数派の優先事項を維持しながら効率を維持するのに役立つかもしれない。
  論文  参考訳（メタデータ） (2025-03-16T18:55:54Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Open-ended VQA benchmarking of Vision-Language models by exploiting Classification datasets and their semantic hierarchy [27.454549324141087]
  本稿では、よく知られた視覚分類データセットに基づく新しいVQAベンチマークを提案する。 また,ラベル空間のセマンティックな階層構造を用いて,基底構造カテゴリに関するフォローアップ質問を自動的に生成することを提案する。 私たちの貢献は、より正確で有意義な評価の基礎を築くことを目的としています。
  論文  参考訳（メタデータ） (2024-02-11T18:26:18Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。