論文の概要: Before the Arrest: Benchmarking LLMs on Criminal Profiling from Incomplete Evidence

• arxiv url: http://arxiv.org/abs/2609.19965v1
• Date: Thu, 17 Sep 2026 09:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.204885
• Title: Before the Arrest: Benchmarking LLMs on Criminal Profiling from Incomplete Evidence
• Title（参考訳）: 逮捕前:不完全な証拠から犯罪プロファイリングに関するLLMのベンチマーク
• Abstract要約: プロファイリング、犯罪処理の再構築、および文予測タスクが評価されます。 動機づけや被害者と犯罪者の関係など、推論を必要とするカテゴリーは、主要なボトルネックのままである。 以上の結果から,不完全証拠からの事前逮捕推論は依然として未解決の課題であることが示唆された。
• 参考スコア（独自算出の注目度）: 40.163786436819166
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are increasingly applied to legal and criminal justice tasks, yet existing work focuses almost exclusively on post-arrest scenarios where the suspect's identity is already known, leaving the critical pre-arrest challenge of inferring suspect characteristics from incomplete evidence largely unexplored. To fill this gap, we introduce the Profiling, Investigation, and Judgment (PIJ), comprising 2,500 real homicide cases from five countries. PIJ evaluates LLMs across three tasks that span the entire criminal investigation pipeline: criminal profiling, which requires abductive reasoning to infer suspect attributes from fragmentary scene evidence, crime process reconstruction, which tests structured information extraction, and sentence prediction, which demands legal deductive reasoning. We evaluate 9 powerful LLMs and find that performance degrades systematically as tasks shift from explicit fact extraction to implicit reasoning over unknown suspect profiles. Categories requiring inferential reasoning, such as motivation and victim-offender relationships, remain the primary bottlenecks. Further analysis reveals substantial gaps between LLMs and human experts, along with pervasive biases in gender, age, and motive attribution. Our findings indicate that pre-arrest inference from incomplete evidence remains an open challenge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、法的および刑事司法のタスクにますます適用されているが、既存の研究は、被疑者の身元が既に知られている事後シナリオにのみ焦点を絞っている。 このギャップを埋めるために,5か国から2500件の実際の殺人事件が報告されたPIJ(Profiling, Investigation, and Judgment)を紹介した。 PIJは、犯罪捜査パイプライン全体をカバーする3つのタスク、すなわち、断片的な現場証拠から容疑者の属性を推測するために誘惑的推論を必要とする刑事プロファイリング、構造化された情報抽出を検査する犯罪プロセス再構築、および法的誘因的推論を要求する文予測の3つを評価する。 我々は9つの強力なLCMを評価し、タスクが明示的な事実抽出から未知の疑似プロファイルに対する暗黙の推論へと移行するにつれて、性能が体系的に低下することを発見した。 動機づけや被害者と犯罪者の関係といった推論を必要とするカテゴリーは、主要なボトルネックのままである。 さらなる分析により、LLMと人間の専門家の間には大きなギャップがあり、性別、年齢、動機付けの偏見が広まっています。 以上の結果から,不完全証拠からの事前逮捕推論は依然として未解決の課題であることが示唆された。

関連論文リスト

• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
  不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。 GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。 GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
  論文  参考訳（メタデータ） (2026-04-21T16:45:29Z)
• Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
  大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。 本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。 実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-25T16:01:31Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• PRISON: Unmasking the Criminal Potential of Large Language Models [25.210177069866656]
  我々は,大言語モデルの犯罪ポテンシャルを,虚偽の声明,フレームアップ,心理的操作,感情の軽視,道徳的拡張の5つの特徴にまたがって定量化する。 その結果、最先端のLLMは、誤解を招く声明や回避戦術の提案など、創発的な犯罪傾向をしばしば示している。 刑事役のモデルでは、平均44%の精度で偽装行為を認識し、犯罪行為の実行と検出の重大なミスマッチを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-19T09:06:27Z)
• CLATTER: Comprehensive Entailment Reasoning for Hallucination Detection [60.98964268961243]
  我々は,系統的かつ包括的な推論プロセスを実行するためのモデルを導くことで,モデルがよりきめ細やかで正確な絞り込み決定を実行できることを提案する。 我々は,(i)クレームの分解,(ii)サブクレームの属性と包含分類,および(iii)集約分類から成る3段階の推論プロセスを定義し,そのような導出推論が実際に幻覚検出の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-06-05T17:02:52Z)
• LAPIS: Language Model-Augmented Police Investigation System [16.579861300355343]
  LAPIS(Language Model Augmented Police Investigation System)は,警察官が合理的かつ法的調査を行うのを支援する自動システムである。 そこで我々は,犯罪捜査法理処理を専門とする微調整データセットと検索知識ベースを構築した。 実験結果は、LAPISが警察官に信頼できる法的ガイダンスを提供する可能性を示しており、プロプライエタリなGPT-4モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-19T09:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。