論文の概要: MAP: A Benchmark on Multimodal Accessibility Planning for Real World Places

• arxiv url: http://arxiv.org/abs/2608.28384v1
• Date: Fri, 28 Aug 2026 14:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.355499
• Title: MAP: A Benchmark on Multimodal Accessibility Planning for Real World Places
• Title（参考訳）: MAP:実世界におけるマルチモーダルアクセシビリティ計画のベンチマーク
• Abstract要約: 我々は、アクセシビリティ要件を持つユーザのためのアシスタントとして、マルチモーダルAIシステムを評価する最初のベンチマークであるMAPを紹介する。 本評価では,アクセシビリティ要件を満たすポイントの検証や推奨をシステムに依頼する。
• 参考スコア（独自算出の注目度）: 4.287479974289038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MAP, the first benchmark to evaluate multimodal AI systems as assistants for users with accessibility requirements when planning visits to places in the real world. In our evaluation, systems are presented with requests to verify or recommend a point of interest meeting an accessibility requirement. MAP contains two novel assessments: Claim verification for accessibility planning assesses if information on places and stated accessibility features is supported and identifies places that satisfy requested accessibility features. Visual evidence retrieval for accessibility planning checks if a multimodal AI system can select visual evidence for the requested place and accessibility feature. Our methodology supports comparison of AI systems in a setting where place information and accessibility information can change over time by evaluating systems and refreshing ground truth data at scheduled times. The benchmark is based on automatic rating and human rating for a proportion of responses.
• Abstract（参考訳）: 我々は,マルチモーダルAIシステムを評価する最初のベンチマークであるMAPを紹介し,実世界の場所への訪問を計画する際のアクセシビリティ要件を持つユーザのためのアシスタントとして紹介する。 本評価では,アクセシビリティ要件を満たすポイントの検証や推奨をシステムに依頼する。 アクセシビリティ計画のためのクレーム検証は、要求されたアクセシビリティ機能を満たす場所を識別し、場所に関する情報がサポートされているかどうかを評価する。 アクセシビリティ計画のための視覚的エビデンス検索は、マルチモーダルAIシステムが要求された場所とアクセシビリティ機能の視覚的エビデンスを選択することができるかどうかをチェックする。 提案手法は,位置情報とアクセシビリティ情報が時間とともに変化しうるような環境下でのAIシステムの比較を支援する。 このベンチマークは、反応の割合の自動評価と人間の評価に基づいている。

関連論文リスト

• MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
  MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。 ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。 提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
  論文  参考訳（メタデータ） (2026-03-30T13:16:03Z)
• One-Eval: An Agentic System for Automated and Traceable LLM Evaluation [10.701916838477187]
  One-Evalは、自然言語要求を実行可能な評価に変換するエージェント評価システムである。 One-Evalは、産業環境でより効率的で再現可能な評価をサポートする。
  論文  参考訳（メタデータ） (2026-03-10T15:45:51Z)
• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• Visibility Allocation Systems: How Algorithmic Design Shapes Online Visibility and Societal Outcomes [0.5863360388454261]
  可視性アロケーションシステム(VAS)の形式的フレームワークを導入する。 VASは、どの(処理された)データを人間のユーザに提供するかを決定する。 我々のフレームワークは、義務の特定、システム的リスクの定量化、適応的コンプライアンスの実現のために、現在進行中のAI立法活動をサポートすることができるかを示します。
  論文  参考訳（メタデータ） (2025-10-20T07:28:24Z)
• HawkBench: Investigating Resilience of RAG Methods on Stratified Information-Seeking Tasks [102.72071523999169]
  HawkBenchは、RAGのパフォーマンスを厳格に評価するために設計された、人間ラベル付きマルチドメインベンチマークである。 情報探索行動に基づくタスクの階層化により、HawkBenchはRAGシステムが多様なユーザニーズにどのように適応するかを体系的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T06:33:39Z)
• MFE-ETP: A Comprehensive Evaluation Benchmark for Multi-modal Foundation Models on Embodied Task Planning [50.45558735526665]
  具体的タスクプランニングにおけるMFMの性能について,より深く,包括的に評価する。 我々は,その複雑で可変なタスクシナリオを特徴付けるMFE-ETPという新しいベンチマークを提案する。 ベンチマークと評価プラットフォームを用いて、いくつかの最先端のMFMを評価し、それらが人間レベルの性能に著しく遅れていることを発見した。
  論文  参考訳（メタデータ） (2024-07-06T11:07:18Z)
• Formalizing and Evaluating Requirements of Perception Systems for Automated Vehicles using Spatio-Temporal Perception Logic [25.070876549371693]
  本研究では,空間的および時間的演算子を用いた知覚データに対する推論を可能にするロジックを提案する。 STPLの大きな利点の1つは、知覚システムの機能性能の基本的な正当性チェックを容易にすることである。
  論文  参考訳（メタデータ） (2022-06-29T02:36:53Z)
• Are Akpans Trick or Treat: Unveiling Helpful Biases in Assistant Systems [55.09907990139756]
  情報探索型AIアシスタントシステムは,ユーザの知識に関する質問に対して,タイムリーに回答することを目的としている。 本稿では,有用性の計算測度について検討する。 最先端の対話システムを用いた実験により、既存のシステムは高度開発途上国の概念に関する質問に役立っていることが明らかとなった。
  論文  参考訳（メタデータ） (2022-05-25T07:58:38Z)
• Visual analytics of set data for knowledge discovery and member selection support [0.7734726150561089]
  本研究では,知識発見とメンバー選択を支援するために,データセットのVAを作成する手法を開発した。 典型的なターゲットアプリケーションは、チーム分析とメンバー選択のためのビジュアルサポートシステムである。 バスケットボールチームに適用して提案手法を実証し,結果予測とラインアップ再構築タスクのベンチマークシステムと比較した。
  論文  参考訳（メタデータ） (2021-04-04T08:22:01Z)
• Improving time use measurement with personal big data collection -- the experience of the European Big Data Hackathon 2019 [62.997667081978825]
  この記事では、Eurostatが主催するNTTS(New Techniques and Technologies for Statistics)カンファレンスのサテライトイベントであるEuropean Big Data Hackathon 2019で、i-Logの経験を評価します。 i-Logは、スマートフォンの内部センサーから個人用ビッグデータをキャプチャして、時間的使用量を測定するシステムである。
  論文  参考訳（メタデータ） (2020-04-24T18:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。