論文の概要: CivicBench: A Benchmark and Memory Framework for Web-Based Civic Data Analytics

• arxiv url: http://arxiv.org/abs/2611.01145v1
• Date: Sat, 31 Oct 2026 17:32:54 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:00:34.55827
• Title: CivicBench: A Benchmark and Memory Framework for Web-Based Civic Data Analytics
• Title（参考訳）: CivicBench: WebベースのCicvicデータ分析のためのベンチマークとメモリフレームワーク
• Abstract要約: 市民分析は、スキーマ、ソースリンク、空間的および時間的スコープ、解釈的限界を保存しながらソースを組み合わせる必要がある。 CicicBenchは、4つの都市と2年にわたる400タスクのベンチマークであり、再現可能な評価のために、市民ウェブデータを凍結バンドルに加工する。 また、ツールの観察結果を型付きアサーションにコンパイルし、互換性のあるスコープ内でのみレコードを調整し、未解決の制約を中心に構成された境界状態を取得するタスク状態メモリ(TSM)も導入します。
• 参考スコア（独自算出の注目度）: 34.06396100041298
• License:
• Abstract: Municipalities publish service requests, geographic boundaries, weather observations, demographic estimates, and operational guidance through independently maintained Web portals. Civic analysis must combine these sources while preserving their schemas, source links, spatial and temporal scopes, and interpretive limits. Tool-using language agents can perform this integration, but existing task benchmarks rarely test whether a computed claim remains supported by the records used. We present CivicBench, a 400-task benchmark over four cities and two years that materializes civic Web data into frozen bundles for reproducible evaluation. Executable contracts score computation, source linkage, coverage, scope, qualified answers, and refusal when the requested conclusion is not supported. We also introduce Task-State Memory (TSM), which compiles tool observations into typed assertions, reconciles records only within compatible scopes, and retrieves a bounded state organized around unresolved constraints. Across nine completed model pairs, eight yield positive mean-score differences with 95\% semantic-contract-cluster bootstrap intervals excluding zero; the ninth interval crosses zero. The benchmark and memory framework make the records behind a claim inspectable at the point of decision.
• Abstract（参考訳）: 自治体は、独立して管理されているWebポータルを通じて、サービス要求、地理的境界、気象観測、人口統計推定、運用ガイダンスを公開している。 市民分析はこれらのソースを組み合わせて、スキーマ、ソースリンク、空間的および時間的スコープ、解釈的限界を保存する必要がある。 ツールを使用する言語エージェントは、この統合を実行することができるが、既存のタスクベンチマークは、計算されたクレームが使用されているレコードでサポートされているかどうかを検査することは滅多にない。 CicicBenchは、4つの都市と2年にわたる400タスクのベンチマークであり、再現可能な評価のために、市民ウェブデータを凍結バンドルに加工する。 実行可能契約は、要求された結論がサポートされない場合に計算、ソースリンク、カバレッジ、スコープ、修飾された回答、拒否をスコアする。 また、ツールの観察結果を型付きアサーションにコンパイルし、互換性のあるスコープ内でのみレコードを調整し、未解決の制約を中心に構成された境界状態を取得するタスク状態メモリ(TSM)も導入します。 9つのモデルペアが完成し、8つの平均スコア差が95 %のセマンティック・コントラクト・クラスタ・ブートストラップ間隔でゼロとなり、9つのインターバルはゼロとなる。 ベンチマークとメモリフレームワークは、決定時点でクレームの背後にあるレコードを検査可能にする。

関連論文リスト

• Semantic Observability for Autonomous Systems Diagnostics [1.3766156880876856]
  本稿では,セマンティックオブザーバビリティの基本的なシステムアーキテクチャ,形式的リレーショナル,マルチエージェント制御ループを確立する。 本研究では,このフレームワークが周囲のテレメトリノイズを除去し,平均分解時間(MTTR)を低減し,LLMトークンの消費を圧縮し,構造的幻覚を防ぐ方法を示す。
  論文  参考訳（メタデータ） (2026-10-20T17:53:32Z)
• From Reasoning Failures to Composable Video Spatial Intelligence [53.31188726177487]
  我々は,映像空間推論を支援するために,利用可能な証拠の上に機能する,型付き幾何演算子と空間スキルのトレーニングフリーライブラリを開発した。 これらの利点は、空間的慣行の明示的なハンドリングが、追加のトレーニングなしで体系的な推論失敗を修復できることを証明している。
  論文  参考訳（メタデータ） (2026-10-01T16:31:19Z)
• STRAND: Benchmarking and Improving Object-Centric Spatio-Temporal Monitoring in Video Large Language Models [44.95645606647668]
  大きな言語モデル(MLLM)は、ビデオシーンで幻覚を起こす傾向がある。 我々は、人間による検証対象中心事実のベンチマークであるSTRANDを紹介する。 本稿では、構造化されたオブジェクト軌跡に対して明示的に構成と理由を規定するオブジェクト指向フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-28T01:51:50Z)
• Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning [45.361080098317665]
  グラウンドドビデオ質問応答や時間的グラウンド化のようなビデオ推論タスクは、クエリをサポートする時間的エビデンスを選択する必要がある。 凍結検証器がトレーニングをガイドできるかどうかについて検討する。 我々のフレームワークは、トレーニング可能なEmphGrounderと凍結したEmphVerifierを結合する: Grounderは候補の軌跡とエビデンスセグメントをサンプリングする。
  論文  参考訳（メタデータ） (2026-08-25T07:46:32Z)
• DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA [56.73431446011309]
  ダイアグラム質問応答(ダイアグラムQA)は、各問合せ対を答えを導き出すために必要なすべての視覚領域にリンクする推論レベルの属性を必要とする。 私たちは、データセット固有の構造からインターフェースロジックを分離する軽量でスキーマ駆動のレビューフレームワークであるDIAGRAMSを紹介します。
  論文  参考訳（メタデータ） (2026-04-29T02:34:51Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• Panini: Continual Learning in Token Space via Structured Memory [4.979820180013486]
  言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:58:03Z)
• Gated Differentiable Working Memory for Long-Context Language Modeling [80.27483324685434]
  本稿では,Gdwm(Gated Differentiable Working Memory)を提案する。 ZeroSCROLLS と LongBench v2 の実験では、Gdwm は均一なベースラインよりも 4$times$ の勾配ステップで同等または優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-01-19T10:00:33Z)
• Rethinking Object Detection in Retail Stores [55.359582952686175]
  そこで我々はLocountと略される新しいタスク、同時にオブジェクトのローカライゼーションとカウントを提案する。 Locountは、関心のあるオブジェクトのグループをインスタンス数でローカライズするアルゴリズムを必要とする。 大規模オブジェクトのローカライズと数えるデータセットを小売店で収集する。
  論文  参考訳（メタデータ） (2020-03-18T14:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。