論文の概要: Evaluating LLMs for Police Decision-Making: A Framework Based on Police Action Scenarios

• arxiv url: http://arxiv.org/abs/2601.03553v1
• Date: Wed, 07 Jan 2026 03:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.125844
• Title: Evaluating LLMs for Police Decision-Making: A Framework Based on Police Action Scenarios
• Title（参考訳）: 警察決定のためのLLMの評価-警察行動シナリオに基づく枠組み-
• Authors: Sangyub Lee, Heedou Kim, Hyeoncheol Kim,
• Abstract要約: 評価プロセス全体をカバーする体系的なフレームワークであるPAS(Police Action Scenarios)を提案する。 このフレームワークを適用して、8000以上の公式文書から新しいQAデータセットを構築しました。 実験の結果,LLMは新たな警察関連業務に苦しむことが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.111256222334957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of Large Language Models (LLMs) in police operations is growing, yet an evaluation framework tailored to police operations remains absent. While LLM's responses may not always be legally incorrect, their unverified use still can lead to severe issues such as unlawful arrests and improper evidence collection. To address this, we propose PAS (Police Action Scenarios), a systematic framework covering the entire evaluation process. Applying this framework, we constructed a novel QA dataset from over 8,000 official documents and established key metrics validated through statistical analysis with police expert judgements. Experimental results show that commercial LLMs struggle with our new police-related tasks, particularly in providing fact-based recommendations. This study highlights the necessity of an expandable evaluation framework to ensure reliable AI-driven police operations. We release our data and prompt template.
• Abstract（参考訳）: 警察活動におけるLarge Language Models (LLMs) の利用は増加しているが、警察活動に適した評価枠組みはいまだに存在しない。 LLMの反応は必ずしも法的に正しくないわけではないが、その不正確な使用は、違法な逮捕や不適切な証拠収集のような深刻な問題を引き起こす可能性がある。 そこで我々は,評価プロセス全体をカバーする体系的なフレームワークであるPAS(Police Action Scenarios)を提案する。 この枠組みを適用し、8000以上の公式文書から新しいQAデータセットを構築し、警察専門家の判断による統計的分析によって検証された重要な指標を確立した。 実験の結果,商業LLMは新たな警察関連タスク,特にファクトベースレコメンデーションの提供に苦慮していることが明らかとなった。 この研究は、信頼できるAI駆動型警察活動を保証するための拡張可能な評価フレームワークの必要性を強調した。 データとプロンプトテンプレートをリリースします。

関連論文リスト

• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• Training-Free Policy Violation Detection via Activation-Space Whitening in LLMs [21.5603664964501]
  本稿では,政策違反検出をアウト・オブ・ディストリビューション検出問題として扱う,トレーニングフリーで効率的な手法を提案する。 ホワイトニング技術にインスパイアされた線形変換を用いて、モデルの隠れたアクティベーションをデコレーションし、平均と単位の分散をゼロに標準化する。 挑戦的な政策ベンチマークでは、既存のガードレールと微調整された推論モデルの両方を超越して、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2025-12-03T17:23:39Z)
• Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
  大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。 本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。 実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-25T16:01:31Z)
• Towards AI-Driven Policing: Interdisciplinary Knowledge Discovery from Police Body-Worn Camera Footage [0.0]
  本稿では,高度な人工知能(AI)と統計機械学習(ML)技術を用いて,警察用ボディウーンカメラ(BWC)映像を解析するための新しい枠組みを提案する。 我々の目標は、警察官と民間人の相互作用パターンを検出し、分類し、分析し、重要な行動力学を特定することである。
  論文  参考訳（メタデータ） (2025-04-28T17:25:23Z)
• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• Auto-Drafting Police Reports from Noisy ASR Outputs: A Trust-Centered LLM Approach [11.469965123352287]
  本研究では,複雑な,騒々しい,複数ロールの対話データから,警察報告のドラフトを生成するためのAI駆動システムを提案する。 我々のアプローチは、法執行機関の相互作用の重要な要素をインテリジェントに抽出し、ドラフトに含めます。 このフレームワークは、将来の警察行為において、レポートプロセスを変革し、監視、一貫性、公平性を保証する可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T16:27:28Z)
• LAPIS: Language Model-Augmented Police Investigation System [16.579861300355343]
  LAPIS(Language Model Augmented Police Investigation System)は,警察官が合理的かつ法的調査を行うのを支援する自動システムである。 そこで我々は,犯罪捜査法理処理を専門とする微調整データセットと検索知識ベースを構築した。 実験結果は、LAPISが警察官に信頼できる法的ガイダンスを提供する可能性を示しており、プロプライエタリなGPT-4モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-19T09:24:29Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。