論文の概要: Using Instruction-Tuned Large Language Models to Identify Indicators of Vulnerability in Police Incident Narratives

• arxiv url: http://arxiv.org/abs/2412.11878v1
• Date: Mon, 16 Dec 2024 15:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:26.046355
• Title: Using Instruction-Tuned Large Language Models to Identify Indicators of Vulnerability in Police Incident Narratives
• Title（参考訳）: 大規模言語モデルを用いた警察事件物語における脆弱性指標の同定
• Authors: Sam Relins, Daniel Birks, Charlie Lloyd,
• Abstract要約: 我々はボストン警察署が記録した警察と公共の相互作用に関する公開テキストの物語を分析した。 命令調律大言語モデル(IT-LLM)の定性的符号化と人間のコーダとの比較を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Objectives: Compare qualitative coding of instruction tuned large language models (IT-LLMs) against human coders in classifying the presence or absence of vulnerability in routinely collected unstructured text that describes police-public interactions. Evaluate potential bias in IT-LLM codings. Methods: Analyzing publicly available text narratives of police-public interactions recorded by Boston Police Department, we provide humans and IT-LLMs with qualitative labelling codebooks and compare labels generated by both, seeking to identify situations associated with (i) mental ill health; (ii) substance misuse; (iii) alcohol dependence; and (iv) homelessness. We explore multiple prompting strategies and model sizes, and the variability of labels generated by repeated prompts. Additionally, to explore model bias, we utilize counterfactual methods to assess the impact of two protected characteristics - race and gender - on IT-LLM classification. Results: Results demonstrate that IT-LLMs can effectively support human qualitative coding of police incident narratives. While there is some disagreement between LLM and human generated labels, IT-LLMs are highly effective at screening narratives where no vulnerabilities are present, potentially vastly reducing the requirement for human coding. Counterfactual analyses demonstrate that manipulations to both gender and race of individuals described in narratives have very limited effects on IT-LLM classifications beyond those expected by chance. Conclusions: IT-LLMs offer effective means to augment human qualitative coding in a way that requires much lower levels of resource to analyze large unstructured datasets. Moreover, they encourage specificity in qualitative coding, promote transparency, and provide the opportunity for more standardized, replicable approaches to analyzing large free-text police data sources.
• Abstract（参考訳）: 目的: 警察と公共の相互作用を記述した日常的に収集された非構造化テキストにおける脆弱性の有無を分類するために、命令チューニングされた大規模言語モデル(IT-LLM)の定性的な符号化を比較する。 IT-LLMコーディングにおける潜在的なバイアスを評価する。 方法:ボストン警察署が記録した警察と公共の相互作用に関する公開テキストの物語を分析し、人間とIT-LLMに定性的なラベリングコードブックを提供し、両者が生成したラベルを比較し、関連する状況を特定する。 (i)精神病の健康 (二)物質誤用 (三)アルコール依存症、及び (4)ホームレス。 複数のプロンプト戦略とモデルサイズ、繰り返しプロンプトによって生成されるラベルの変動について検討する。 さらに,モデルバイアスを探索するために,IT-LLM分類における2つの保護された特徴(人種と性別)の影響を評価するために,反現実的手法を用いる。 その結果、IT-LLMは、警察事件の物語の人間の質的なコーディングを効果的に支援できることを示した。 LLMと人為的なラベルの間にはいくつかの意見の相違があるが、IT-LLMは脆弱性がない物語のスクリーニングに非常に効果的であり、人間のコーディングの要件を大幅に減らす可能性がある。 事実分析は、物語に記述された個人の性別と人種の操作が、偶然に予想されるもの以上のIT-LLM分類に非常に限定的な影響を及ぼすことを示した。 結論: IT-LLMは、大規模な非構造化データセットを分析するために、はるかに低いレベルのリソースを必要とする方法で、人間の質的なコーディングを強化する効果的な手段を提供する。 さらに、定性的なコーディングの特異性を奨励し、透明性を促進し、大規模な自由テキスト警察データソースを分析するための、より標準化された、複製可能なアプローチの機会を提供する。

関連論文リスト

• DFEPT: Data Flow Embedding for Enhancing Pre-Trained Model Based Vulnerability Detection [7.802093464108404]
  本稿では,脆弱性検出タスクにおける事前学習モデルの性能向上を目的としたデータフロー埋め込み手法を提案する。 具体的には,関数レベルのソースコードからデータフローグラフを解析し,DFGのノード特性として変数のデータ型を使用する。 我々の研究は、DFEPTが事前訓練されたモデルに効果的な脆弱性セマンティック情報を提供し、Devignデータセットで64.97%、Revealデータセットで47.9%のF1スコアを達成できることを示している。
  論文  参考訳（メタデータ） (2024-10-24T07:05:07Z)
• Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
  大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。 既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。 低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:25:00Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Intelligent Multi-Document Summarisation for Extracting Insights on Racial Inequalities from Maternity Incident Investigation Reports [0.8609957371651683]
  医療では、毎年何千もの安全事故が発生するが、これらの事故から学ぶことは効果的に集約されない。 本稿では,安全事故報告の集約と分析を容易にするためのフレームワークであるI-SIRch:CSを提案する。 このフレームワークは、セーフティ・インテリジェンス・リサーチ(SIRch)の分類学を用いた概念アノテーションと、クラスタリング、要約、分析機能を統合する。
  論文  参考訳（メタデータ） (2024-07-11T09:11:20Z)
• CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
  本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。 従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。 多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Towards Imperceptible Document Manipulations against Neural Ranking Models [13.777462017782659]
  本稿では,Imberceptible DocumEnt Manipulation (IDEM) というフレームワークを提案する。 IDEMは、BARTのような確立された生成言語モデルに、容易に検出できるエラーを発生させることなく、接続文を生成するよう指示する。 対象文書の流速と正しさを保ちながら, IDEM が強いベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2023-05-03T02:09:29Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。