論文の概要: AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery
- arxiv url: http://arxiv.org/abs/2607.14756v1
- Date: Thu, 16 Jul 2026 09:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.05579
- Title: AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery
- Title（参考訳）: AI vs Human Expert Reasoning:ストリートビュー画像に基づくタイポロジー予測構築における合意の評価
- Abstract要約: 本研究では,Google ストリートビューの画像から,視覚言語モデル (VLM) を推定する可能性について検討する。
GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 Flash などの最先端 VLM の評価を行った。
AIは視覚的な指標に注目する傾向にあるのに対して、人間の専門家はより広い文脈の手がかりとドメイン知識に重点を置いている。
- 参考スコア（独自算出の注目度）: 4.997351634293919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research investigates the potential of Vision-Language Models (VLMs) to infer building typologies: Construction, Current Use, and Storeys from Google Street View (GSV) images. Predictions generated by VLMs are compared with inference by human experts (civil engineers and architects) as a source of manually labelled ground-truth data. We evaluate several state-of-the-art VLMs, including GPT-4o, Claude 3.5 Sonnet, and Gemini 2.0 Flash. By applying different scaling strategies and prompting techniques, we found that Chain-of-Thought prompts provide an overall more stable model performance. We also investigate the reasoning behind VLMs' building-typology predictions by examining the probabilities of keywords appearing in AI explanations. This enabled us to analyse patterns in these reasonings and identify key themes driving both agreements and disagreements between VLM and expert labels. We find that AI tends to focus on visual indicators, whereas human experts place greater emphasis on broader contextual cues and domain knowledge, in addition to visual cues. Overall, VLM can approximate experts' capability in building-typology classification at scale, with an average accuracy of approximately 70%. The study demonstrates the VLM's potential for AI automation in tasks that require pattern recognition and object identification in an urban context. AI have the potential to serve as complementary and collaborative tools for urban analysis, leveraging their strengths in understanding visual patterns. This study contributes to the exploration of the efficiency and scalability of AI visual prediction and provides insights into the reasoning processes that could support automation processes in urban analysis and prediction.
- Abstract（参考訳）: 本研究では,Google ストリートビュー (GSV) 画像から構築型を推定する視覚言語モデル (VLM) の可能性について検討する。
VLMが生成する予測は、人の専門家(土木技術者や建築家)が手動でラベル付けした地平データのソースとして推定したものと比較される。
GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 Flash などの最先端 VLM の評価を行った。
異なるスケーリング戦略とプロンプト技術を適用することで、Chain-of-Thoughtプロンプトが全体としてより安定したモデルパフォーマンスを提供することがわかった。
また、AI説明に現れるキーワードの確率を調べることにより、VLMのビルトタイポロジー予測の背後にある理由についても検討する。
これにより、これらの推論のパターンを分析し、VLMとエキスパートラベルの合意と不一致を駆動するキーテーマを特定できます。
AIは視覚的な指標に注目する傾向にあるのに対して、人間の専門家は視覚的な手がかりに加えて、より広い文脈の手がかりとドメイン知識に重点を置いている。
全体として、VLMは、スケールでのビル-ティポロジー分類における専門家の能力を近似することができ、平均精度は約70%である。
この研究は、都市環境でのパターン認識とオブジェクト識別を必要とするタスクにおいて、VLMがAI自動化の可能性を実証している。
AIは、都市分析のための補完的で協調的なツールとして機能し、視覚パターンを理解する上での強みを活用する可能性がある。
この研究は、AI視覚予測の効率性とスケーラビリティの探索に寄与し、都市分析と予測における自動化プロセスを支援することができる推論プロセスに関する洞察を提供する。
関連論文リスト
- Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models [20.954224027029625]
視覚言語モデル(VLM)における視線理解のためのシステム評価フレームワークEyeVLMを提案する。
視線理解能力を評価するために,2つの中核課題に焦点をあてる。
第2の社会的視線予測は、多対人インタラクションに対する社会的および関係的な推論を必要とする。
論文 参考訳（メタデータ） (2026-05-19T13:50:40Z) - Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。
我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。
また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
論文 参考訳（メタデータ） (2025-10-01T17:58:05Z) - How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。
空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
論文 参考訳（メタデータ） (2025-09-23T12:00:14Z) - Explain Before You Answer: A Survey on Compositional Visual Reasoning [74.27548620675748]
構成的視覚推論は、マルチモーダルAIにおける重要な研究フロンティアとして登場した。
本調査は,トップ会場(CVPR,ICCV,NeurIPS,ICML,ACLなど)から260以上の論文を体系的にレビューする。
次に60以上のベンチマークとそれに対応するメトリクスを、基底精度、連鎖忠実性、高分解能知覚などの次元に沿って探索する。
論文 参考訳（メタデータ） (2025-08-24T11:01:51Z) - A Comprehensive Perspective on Explainable AI across the Machine Learning Workflow [1.269939585263915]
Holistic Explainable Artificial Intelligence (HXAI)は、データ分析ワークフローのすべてのステージに説明を埋め込む、ユーザ中心のフレームワークである。
HXAIは6つのコンポーネント(データ、分析設定、学習プロセス、モデル出力、モデル品質、通信チャネル)を単一の分類体系に統合する。
112項目の質問銀行がこれらのニーズをカバーしています。
論文 参考訳（メタデータ） (2025-08-15T15:15:25Z) - AIGI-Holmes: Towards Explainable and Generalizable AI-Generated Image Detection via Multimodal Large Language Models [78.08374249341514]
AI生成コンテンツ(AIGC)の急速な発展は、誤情報を拡散するAIGIの誤用につながった。
大規模で包括的なデータセットであるHolmes-Setを導入し、画像がAI生成されているかどうかを解説したインストラクションチューニングデータセットを含む。
本研究は,MLLMの構造化説明と品質管理によるデータ生成を効率化する,Multi-Expert Juryと呼ばれる効率的なデータアノテーション手法を提案する。
さらに,視覚専門家による事前学習,教師付き微調整,直接選好最適化を含む3段階学習フレームワークであるHolmes Pipelineを提案する。
論文 参考訳（メタデータ） (2025-07-03T14:26:31Z) - StreetLens: Enabling Human-Centered AI Agents for Neighborhood Assessment from Street View Imagery [8.188916140324139]
ユーザ設定可能な人間中心ワークフローであるStreetLensを紹介し、関連する社会科学の専門知識を視覚言語モデルに統合する。
StreetLensは分析プロセスのコアにドメイン知識を配置する。
また、前回の調査データの統合をサポートし、ロバスト性を高め、評価された特性の範囲を広げる。
論文 参考訳（メタデータ） (2025-06-17T16:06:03Z) - AI-in-the-loop: The future of biomedical visual analytics applications in the era of AI [3.0942901747200975]
データ分析におけるAIの大規模開発は、将来のデータ視覚化とビジュアル分析をどう形成するか?
ますます強力なAIの文脈における機会、オープンな課題、脅威とは何か?
我々は、バイオメディカルビジュアライゼーションを研究分野として変革するAIの可能性を強調した。
論文 参考訳（メタデータ） (2024-12-20T13:27:24Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。
我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。
ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
論文 参考訳（メタデータ） (2024-03-05T18:08:45Z) - Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。
最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。
第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。
第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。
4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
論文 参考訳（メタデータ） (2023-06-12T21:08:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。