論文の概要: Can AI Reason Like an Urban Planner? Benchmarking Large Language Models Against Professional Judgment

• arxiv url: http://arxiv.org/abs/2606.11678v1
• Date: Wed, 10 Jun 2026 05:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.310679
• Title: Can AI Reason Like an Urban Planner? Benchmarking Large Language Models Against Professional Judgment
• Title（参考訳）: AIは都市プランナーのように見えるか? 専門家の判断に反する大規模な言語モデルをベンチマークする
• Authors: Yijie Deng, He Zhu, Wen Wang, Junyou Su, Minxin Chen, Wenjia Zhang,
• Abstract要約: 大規模言語モデル(LLMs)の台頭は、都市計画において重要な疑問を提起している。 AIツールは、計画の実践にますます使われているが、計画の専門知識の中心となる文脈的感度、価値の認識、制度的リテラシーで推論できるかどうかをテストするための体系的なフレームワークは、まだ存在しない。 本稿では,4つの知識柱からなる4x5行列と,ブルームの改訂された分類法に適応した5つの認知レベルを用いて,LLM推論を評価するドメイン固有評価フレームワークであるUrban Planning Benchを紹介する。
• 参考スコア（独自算出の注目度）: 12.535782832272062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Problem, Research Strategy, and Findings: The rise of large language models (LLMs) raises a key question for urban planning: which forms of professional planning knowledge can AI replicate, and which still require human judgment? Although AI tools are increasingly used in planning practice, there is still no systematic framework for testing whether they can reason with the contextual sensitivity, value awareness, and institutional literacy central to planning expertise. This paper introduces Urban Planning Bench (UPBench), a domain-specific evaluation framework that assesses LLM reasoning through a 4x5 matrix of four knowledge pillars and five cognitive levels adapted from Bloom's revised taxonomy. Evaluating 25 LLMs with automated scoring and expert review, we find a non-monotonic cognitive curve: models perform better on higher-order analytical tasks than on factual recall and integrative judgment. This suggests that planning knowledge often treated as lower-order is deeply shaped by institutional, jurisdictional, and temporal context, making it hard for LLMs to generalize. We summarize these limits as four epistemic diagnostics: regulatory hallucination, conceptual conflation, wickedness paralysis, and phronetic deficit. Takeaway for Practice: The findings support differential delegation in planning. LLMs can assist with cross-disciplinary synthesis, literature review, scenario generation, and preliminary policy analysis. However, they remain unreliable for jurisdiction-specific regulation, normative conflict resolution, and context-sensitive procedure. Agencies should require verification for AI-assisted regulatory analysis, while planning education should emphasize institutional literacy, normative judgment, and contextual sensitivity.
• Abstract（参考訳）: 問題、研究戦略、発見: 大規模言語モデル(LLM)の台頭は、都市計画において重要な疑問を提起する。 AIツールは、計画の実践にますます使われているが、計画の専門知識の中心となる文脈的感度、価値の認識、制度的リテラシーで推論できるかどうかをテストするための体系的なフレームワークは、まだ存在しない。 本稿では,4つの知識柱からなる4x5行列と,ブルームの改訂された分類から適応した5つの認知レベルを用いて,LLM推論を評価するドメイン固有の評価フレームワークであるUrban Planning Bench(UPBench)を紹介する。 自動スコアリングとエキスパートレビューで25 LLMを評価すると、非単調な認知曲線が見つかる。 これは、計画知識が低次のものとして扱われることが多いことは、制度的、司法的、時間的文脈によって深く形作られており、LLMが一般化するのが困難であることを示している。 われわれは,これらの限界を,規制幻覚,概念統合,邪悪な麻痺,腎不全の4つの疫学診断として要約した。 Takeaway for Practice: 調査結果は、計画における差分デリゲーションを支持します。 LLMは、学際的な合成、文献レビュー、シナリオ生成、事前ポリシー分析を支援することができる。 しかし、これらの規則は法域固有の規制、規範的な紛争解決、文脈に敏感な手続きに対して信頼できないままである。 教育計画では、制度的リテラシー、規範的判断、文脈的感受性を重視すべきである。

関連論文リスト

• Evaluating the Formal Reasoning Capabilities of Large Language Models through Chomsky Hierarchy [62.32144504442516]
  SOTA LLMが形式言語の構造的・階層的複雑性を把握できるかどうかは不明である。 ChomskyBench はchomsky Hierarchy のレンズを通して LLM を体系的に評価するためのベンチマークである。 ChomskyBenchは、各レベルで機能をテストするように設計された、言語認識と生成タスクの包括的なスイートで構成されている。
  論文  参考訳（メタデータ） (2026-04-03T04:06:39Z)
• Ambiguity Collapse by LLMs: A Taxonomy of Epistemic Risks [5.45414933764086]
  大規模言語モデル(LLM)はあいまいで、オープンなテクスチャ付き、バリューラインドな言葉を理解するためにますます使われています。 本稿では,LLMが複数の正当解釈を真に認める用語に遭遇するが,特異解を生成する現象であるあいまいさ崩壊を紹介する。
  論文  参考訳（メタデータ） (2026-03-06T01:23:17Z)
• Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident [0.8564319625930894]
  大規模言語モデル(LLM)は、AIベースの学習システムにますます組み込まれている。彼らは、初心者の推論とメタ認知的判断を忠実にモデル化できるだろうか? 学生のヒント使用,試行,問題文脈の問題解決ログを用いた化学チュータリング問題からの630のシンクアラウド発話を用いて,LSMを初心者として評価した。 そこで本研究では,LLM生成推論と人間の学習者発話を,最小限で拡張された文脈的プロンプトで比較し,ステップレベルの学習者成功を予測するモデルの能力を評価する。
  論文  参考訳（メタデータ） (2026-02-01T04:46:38Z)
• Automated Benchmark Generation from Domain Guidelines Informed by Bloom's Taxonomy [28.293009223912602]
  オープンエンド質問応答(英語: Open-ended Question answering, QA)は、モデルが事実的リコールを超えた文脈的推論を行う能力を評価する。 この課題は、知識が手続き的であり、専門的な判断が下されている、実践ベースの領域で特に深刻である。 ブルームの分類学から得られた専門家認可ガイドラインから自動ベンチマーク生成のためのフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-01-28T05:01:11Z)
• Reasoning Is All You Need for Urban Planning AI [3.3943213418026126]
  本稿では,推論可能な計画エージェントのためのエージェント都市計画AIフレームワークを提案する。 パーセプション(Perception)、ファンデーション(Foundation)、推論(Reasoning)という3つの認知レイヤを、マルチエージェントコラボレーションフレームワークを通じて6つのロジックコンポーネント(分析、生成、検証、評価、コラボレーション、決定)と統合する。 我々は、AIエージェントが、ソリューション空間を体系的に探索し、規制コンプライアンスを検証し、トレードオフを透過的に検討することで、ヒューマンプランナーを強化する方法を示す。
  論文  参考訳（メタデータ） (2025-11-07T15:59:06Z)
• Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning [11.255428720705204]
  本稿では,ケース間の重要な区別を3段階の推論タスクに分解する枠組みを提案する。 我々のフレームワークは、要因と呼ばれる事実的述語を使用してケースをモデル化し、それらを法的知識階層に整理し、区別を識別するための検証可能なルールを定義します。 我々は、モデルが正しい応答よりも間違った応答について、常に多くの計算資源を消費していることを発見し、「より長く考えることは、必ずしも「より賢く考える」という意味ではないことを示唆している。
  論文  参考訳（メタデータ） (2025-10-09T18:15:28Z)
• MDK12-Bench: A Comprehensive Evaluation of Multimodal Large Language Models on Multidisciplinary Exams [50.293164501645975]
  MLLM(Multimodal large language model)は、言語と視覚を統合して問題解決を行う。 MLLMのインテリジェンスを測定するための現在のベンチマークは、限られた規模、狭い範囲、構造化されていない知識に悩まされている。 MDK12-Benchは、6つの分野にまたがる実世界のK-12試験から構築された大規模マルチディシプリナベンチマークである。
  論文  参考訳（メタデータ） (2025-08-09T06:21:10Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。