論文の概要: Kierston & KierstonBench: Simulation of Allentown, PA and Evaluation of Language Models in Crime Investigation and Surveillance Tasks

• arxiv url: http://arxiv.org/abs/2611.04785v1
• Date: Tue, 03 Nov 2026 12:23:08 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:56:59.919585
• Title: Kierston & KierstonBench: Simulation of Allentown, PA and Evaluation of Language Models in Crime Investigation and Surveillance Tasks
• Title（参考訳）: Kierston & KierstonBench:Allentown, PAのシミュレーションと犯罪調査・監視課題における言語モデルの評価
• Abstract要約: 大規模言語モデルは、犯罪捜査や大量監視における記録の収集と分析の候補である。 都市規模のシミュレーションエンジンであるKierstonと、これらの機能を既知のシミュレートされたイベントに対してテストするベンチマークであるKierstonBenchを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models are candidates for collecting and analyzing records in criminal investigations and mass surveillance. Their capability and accuracy in this work cannot currently be measured. Real deployments lack the ground truth needed to score a model's conclusions, and no benchmark evaluates these capabilities in a simulated environment. We present Kierston, a city-scale simulation engine, and KierstonBench, a benchmark that tests these capabilities against known simulated events. Kierston models approximately 125,000 residents of Allentown, Pennsylvania, generating their daily activities and the telecommunications, financial, administrative and license-plate records that surveillance and investigative systems collect about them. These records derive from a common behavioral timeline and are distributed across sources representing separate providers. Models investigate through a restricted records interface, linking observations across sources without access to the underlying simulation. The benchmark comprises 32 task families covering record linkage, routine reconstruction, incident investigation and assessment of deceptive accounts. In an evaluation of sixteen language models, most could not perform records investigation and submitted identifications the records did not support. A small number of frontier models solved most of the tasks and abstained when evidence was insufficient. In some cases these models still fell for common deceptions and assumptions, and none replaced an investigator.
• Abstract（参考訳）: 大規模言語モデルは、犯罪捜査や大量監視における記録の収集と分析の候補である。 この研究における彼らの能力と正確さは、現時点では測定できない。 実際のデプロイメントでは、モデルの結論を評価するために必要な基礎的な真実が欠如しており、シミュレーション環境でこれらの機能を評価するベンチマークはありません。 都市規模のシミュレーションエンジンであるKierstonと、これらの機能を既知のシミュレートされたイベントに対してテストするベンチマークであるKierstonBenchを紹介する。 キーズトンはペンシルベニア州アレンタウンの住民約125,000人をモデルにしており、毎日の活動や、監視と調査システムが収集する通信、金融、管理、免許証板の記録を生み出している。 これらのレコードは、共通の行動タイムラインから派生し、別々のプロバイダを表すソースに分散される。 モデルは制限されたレコードインターフェースを通じて調査し、基礎となるシミュレーションにアクセスせずにソース間で観測をリンクする。 このベンチマークは、レコードリンク、定期的な再構築、インシデント調査、詐欺アカウントの評価を含む32のタスクファミリーで構成されている。 16の言語モデルの評価では、ほとんどは記録調査を行えず、記録が支持しなかった識別を提出した。 少数のフロンティアモデルは、証拠が不十分なときにほとんどのタスクを解決し、中断した。 場合によっては、これらのモデルは相変わらず詐欺や仮定のために使われ、調査員に取って代わられることはなかった。

関連論文リスト

• Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models [0.0]
  本稿では,社会の社会的,自白的,地域的な選挙区をどのように扱うかを評価するためのプロトコルであるQistasを紹介する。 それは、一致した反ファクト対の手続き対称性、差分拒絶、曖昧さの下でのステレオタイプ依存、文書化された出来事の用語的フレーミングである。 モデルが評価されておらず、関連する事前登録は、パイロットが従う仮説、メトリクス、排他的ルール、分析計画をコミットする。
  論文  参考訳（メタデータ） (2026-10-29T19:14:07Z)
• SciExam for ENSO: Can AI Agents Build Climate Models? [54.94822880836718]
  様々な情報の下でトップシステムの制御された実行は、そのスコアが、日付の観測記録をリコールすることによるものではないことを示唆している。 結果は、科学者がまだ議論している疑問に答える構造を持つ競争モデルを構築することができることを示唆している。
  論文  参考訳（メタデータ） (2026-10-07T17:52:52Z)
• From Dead Code and Static Requirements to Working Engines: Software Revival with Coding Agents [14.661282304807145]
  ReviveBenchは、ネイティブ実行環境に対する隠れ検証によって評価された2つのタスクファミリを持つベンチマークである。 リカバリファミリーは、依存関係の非互換性、削除されたコアモジュール、レガシビルド、GPUベースのファンデーションモデルを含む10のタスクで構成される。 再構成ファミリーは、数値、幾何学、ハードウェア、取引システムにまたがる13のタスクからなる。
  論文  参考訳（メタデータ） (2026-09-28T19:30:12Z)
• clifford qc: A Python Toolkit for Quantum Simulation [0.0]
  clifford_qcは、量子モデルを構築するためのPythonリサーチツールキットである。 ハミルトン、密度演算子、ゲート、および候補選択オブザーバブルを接続する。 専用インタフェースは、回路プログラム、実行、統計的推定を扱う。
  論文  参考訳（メタデータ） (2026-09-19T14:45:38Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• No One Knows the State of the Art in Geospatial Foundation Models [21.487353140679463]
  我々は、この芸術の現状が地理空間基盤モデルに何があるのか誰も知らないと主張している。 これらの手法は有用であるが、GFMの文献は評価、トレーニング、テストのプロトコル、リリースウェイト、事前訓練の制御を標準化していない。
  論文  参考訳（メタデータ） (2026-05-12T19:29:51Z)
• Detecting Semantic Backdoors in a Mystery Shopping Scenario [0.0]
  分類モデルにおけるセマンティックバックドアの検出問題に対処する。 クリーントレーニングデータセットとモデルのトレーニングレシピが共に知られていることを前提として,参照モデルプールを提案する。 我々はモデル距離を計算するための様々なアプローチを実験的に分析し、また、プロバイダが検出を避けるためにアダプティブアタックを実行するシナリオをテストする。
  論文  参考訳（メタデータ） (2026-01-07T11:04:04Z)
• Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
  業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。 学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。 利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
  論文  参考訳（メタデータ） (2023-12-25T21:25:55Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。