論文の概要: Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors
- arxiv url: http://arxiv.org/abs/2604.16132v1
- Date: Fri, 17 Apr 2026 15:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.969135
- Title: Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors
- Title(参考訳): LLMは外傷の影響に耐えられるか? : LLMの費用と効果
- Authors: Jessica H. Zhu, Shayla Stringfield, Vahe Zaprosyan, Michael Wagner, Michel Cukier, Joseph B. Richardson,
- Abstract要約: 銃乱射事件は公衆衛生上の問題だが、生存者の生きた経験の研究は資金不足であり、規模を拡大するのは難しい。
大規模言語モデル(LLM)の最近の進歩は、このプロセスを自動化するための扉を開いた。
我々は、コミュニティの銃器暴力を生き延びた21人の黒人男性へのインタビューを、オープンソースLSMを用いてインダクティブにコードするために評価する。
- 参考スコア(独自算出の注目度): 1.4847140242267176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Firearm violence is a pressing public health issue, yet research into survivors' lived experiences remains underfunded and difficult to scale. Qualitative research, including in-depth interviews, is a valuable tool for understanding the personal and societal consequences of community firearm violence and designing effective interventions. However, manually analyzing these narratives through thematic analysis and inductive coding is time-consuming and labor-intensive. Recent advancements in large language models (LLMs) have opened the door to automating this process, though concerns remain about whether these models can accurately and ethically capture the experiences of vulnerable populations. In this study, we assess the use of open-source LLMs to inductively code interviews with 21 Black men who have survived community firearm violence. Our results demonstrate that while some configurations of LLMs can identify important codes, overall relevance remains low and is highly sensitive to data processing. Furthermore, LLM guardrails lead to substantial narrative erasure. These findings highlight both the potential and limitations of LLM-assisted qualitative coding and underscore the ethical challenges of applying AI in research involving marginalized communities.
- Abstract(参考訳): 銃乱射事件は公衆衛生上の問題だが、生存者の生きた経験の研究は資金不足であり、規模を拡大するのは難しい。
詳細なインタビューを含む質的研究は、コミュニティの銃器暴力の個人的および社会的影響を理解し、効果的な介入を設計するための貴重なツールである。
しかし、これらの物語をシマティック分析や帰納的コーディングを通じて手動で分析することは、時間と労力がかかる。
大規模言語モデル(LLM)の最近の進歩はこのプロセスを自動化するための扉を開いたが、これらのモデルが脆弱な人口の経験を正確かつ倫理的に捉えることができるかどうかについては懸念が残っている。
本研究では,コミュニティの銃乱射事件を生き延びた21人の黒人男性を対象に,オープンソースLPMを用いたインタヴューのコード化について検討した。
以上の結果から,LLMのいくつかの構成は重要な符号を識別できるが,全体的な関連性は低く,データ処理に非常に敏感であることがわかった。
さらに、LLMガードレールは、大きな物語の消去に繋がる。
これらの知見は, LLMによる定性的コーディングの可能性と限界を浮き彫りにして, 辺縁的なコミュニティを含む研究にAIを適用するという倫理的課題を浮き彫りにしている。
関連論文リスト
- Evaluating Metrics for Safety with LLM-as-Judges [1.93892819796757]
本稿では、多くの自然言語処理タスクから決定論的評価を得ることはできないが、重み付けされたメトリクスのバスケットを採用することで、評価におけるエラーのリスクを低減することができると主張している。
論文 参考訳(メタデータ) (2025-12-17T17:24:49Z) - Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation [0.5070610131852027]
大規模言語モデル(LLM)は、事前に定義された物語に従って偽ニュース記事を生成するために効果的に誤用することができる。
本研究は,近年のオープンかつクローズドなLCMの脆弱性と,パーソナライズされた偽情報ニュースを英語で生成する意思を評価することで,このギャップを埋めるものである。
以上の結果から,LLMの大部分が適切に機能していないため,より強力な安全性フィルタやディファイラの必要性が示唆された。
論文 参考訳(メタデータ) (2024-12-18T09:48:53Z) - Persuasion with Large Language Models: a Survey [49.86930318312291]
大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。
政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。
LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2024-11-11T10:05:52Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳(メタデータ) (2024-05-20T14:34:01Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Assessing Hidden Risks of LLMs: An Empirical Study on Robustness,
Consistency, and Credibility [37.682136465784254]
我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。
入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。
そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
論文 参考訳(メタデータ) (2023-05-15T15:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。