論文の概要: Towards Trustworthy AI: Characterizing User-Reported Risks across LLMs "In the Wild"
- arxiv url: http://arxiv.org/abs/2509.08912v1
- Date: Wed, 10 Sep 2025 18:16:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-12 16:52:24.100857
- Title: Towards Trustworthy AI: Characterizing User-Reported Risks across LLMs "In the Wild"
- Title（参考訳）: 信頼できるAIに向けて - LLMの"In the Wild"にまたがるユーザ報告されたリスクを特徴付ける
- Authors: Lingyao Li, Renkai Ma, Zhaoqian Xue, Junjie Xiong,
- Abstract要約: ユーザ報告されたリスクは、不均一に分散され、プラットフォーム固有のものだ。
説明可能性(Explainability)"や"プライバシ(Privacy)"といったリスクが,ユーザトレードオフの曖昧さとして現れているのに対して,"公正(Fairness)"のような一般的なものは,直接的な個人的障害として経験されるのです。
- 参考スコア（独自算出の注目度）: 10.731819947184823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Large Language Models (LLMs) are rapidly integrating into daily life, research on their risks often remains lab-based and disconnected from the problems users encounter "in the wild." While recent HCI research has begun to explore these user-facing risks, it typically concentrates on a singular LLM chatbot like ChatGPT or an isolated risk like privacy. To gain a holistic understanding of multi-risk across LLM chatbots, we analyze online discussions on Reddit around seven major LLM chatbots through the U.S. NIST's AI Risk Management Framework. We find that user-reported risks are unevenly distributed and platform-specific. While "Valid and Reliable" risk is the most frequently mentioned, each product also exhibits a unique "risk fingerprint;" for instance, user discussions associate GPT more with "Safe" and "Fair" issues, Gemini with "Privacy," and Claude with "Secure and Resilient" risks. Furthermore, the nature of these risks differs by their prevalence: less frequent risks like "Explainability" and "Privacy" manifest as nuanced user trade-offs, more common ones like "Fairness" are experienced as direct personal harms. Our findings reveal gaps between risks reported by system-centered studies and by users, highlighting the need for user-centered approaches that support users in their daily use of LLM chatbots.
- Abstract（参考訳）: LLM(Large Language Models)は急速に日常生活に組み込まれつつあるが、そのリスクに関する研究はしばしば実験室で行われ、ユーザーが「野生」で遭遇する問題から切り離されている。
HCIの最近の研究は、これらのユーザの直面するリスクを探求し始めているが、一般的にはChatGPTのような単一のLLMチャットボットや、プライバシのような独立したリスクに集中している。
LLMチャットボットにおけるマルチリスクの全体的理解を得るために、米国NISTのAIリスク管理フレームワークを通じて、主要な7つのLLMチャットボットに関するReddit上のオンラインディスカッションを分析した。
ユーザ報告されたリスクは、不均一に分散され、プラットフォーム固有のものであることが分かっています。
Valid and Reliable" のリスクが最も頻繁に言及されているが、各製品にはユニークな "リスクフィンガー" がある。例えば、ユーザディスカッションでは GPT を "Safe" と "Fair" の問題、Gemini を "Privacy" 、Clude を "Secure and Resilient" のリスクに関連付けている。
さらに、これらのリスクの性質は、その頻度によって異なる: 「説明可能性」や「プライバシー」のような頻繁なリスクが、曖昧なユーザトレードオフとして現れ、より一般的な「公正」のようなリスクは、直接的な個人的害として経験される。
本研究は,システム中心研究とユーザによるリスクレポートのギャップを明らかにし,LLMチャットボットの日常利用を支援するユーザ中心アプローチの必要性を強調した。
関連論文リスト
- SoK: Privacy Risks and Mitigations in Retrieval-Augmented Generation Systems [53.51921540246166]
Retrieval-Augmented Generation (RAG)技術は広く普及している。
RAGには、Large Language Models(LLM)とドメイン固有の知識ベースとの結合が含まれる。
RAGの普及は、データのプライバシに関する懸念を引き起こしている。
論文 参考訳（メタデータ） (2026-01-07T14:50:41Z) - Safety and Security Analysis of Large Language Models: Benchmarking Risk Profile and Harm Potential [0.1631115063641726]
本研究は,9大言語モデル(LLM)の実証分析とリスクプロファイルを提供する。
RSIはアジャイルでスケーラブルな評価スコアであり、セキュリティ姿勢を定量化し比較し、LLMのリスクプロファイルを作成する。
この研究は、テストされたLLMの安全性フィルタの広範な脆弱性を発見し、より強力なアライメント、責任あるデプロイメントプラクティス、モデルガバナンスの必要性を強調している。
論文 参考訳（メタデータ） (2025-09-12T19:34:10Z) - Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。
リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
論文 参考訳（メタデータ） (2024-08-16T17:23:43Z) - MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。
我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。
21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文 参考訳（メタデータ） (2024-06-11T08:38:13Z) - ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-04-06T15:01:47Z) - A Chinese Dataset for Evaluating the Safeguards in Large Language Models [46.43476815725323]
大型言語モデル(LLM)は有害な応答を生み出す。
本稿では,中国のLLMの安全性評価のためのデータセットを提案する。
次に、偽陰性例と偽陽性例をよりよく識別するために使用できる他の2つのシナリオに拡張する。
論文 参考訳（メタデータ） (2024-02-19T14:56:18Z) - A Security Risk Taxonomy for Prompt-Based Interaction With Large Language Models [5.077431021127288]
本稿では,大規模言語モデル(LLM)によるセキュリティリスクに着目し,現在の研究のギャップに対処する。
我々の研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類を提案し,一般的に使用されている機密性,完全性,可用性(CIA)3つのトライアドと並行して,ターゲットタイプと攻撃タイプによる攻撃を分類する。
論文 参考訳（メタデータ） (2023-11-19T20:22:05Z) - RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。
RiskQは広範な実験によって有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2023-11-03T07:18:36Z) - "It's a Fair Game", or Is It? Examining How Users Navigate Disclosure Risks and Benefits When Using LLM-Based Conversational Agents [27.480959048351973]
大規模言語モデル(LLM)ベースの会話エージェント(CA)の普及は、多くのプライバシー上の懸念を引き起こす。
実世界のChatGPT会話における機密情報開示を分析し,19名のLCMユーザを対象に半構造化インタビューを行った。
LLMベースのCAを使用する場合,ユーザは常に,プライバシやユーティリティ,利便性のトレードオフに直面しています。
論文 参考訳（メタデータ） (2023-09-20T21:34:36Z) - Foveate, Attribute, and Rationalize: Towards Physically Safe and
Trustworthy AI [76.28956947107372]
包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。
安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。
実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
論文 参考訳（メタデータ） (2022-12-19T17:51:47Z) - SoK: A Framework for Unifying At-Risk User Research [18.216554583064063]
リスクの高いユーザは,ディジタルセキュリティやプライバシ,安全上の脅威を経験する人たちです。
本稿では,85論文の多岐にわたるメタ分析に基づいて,リスクの高いユーザを推論する枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-13T22:27:24Z) - Ethical and social risks of harm from Language Models [22.964941107198023]
本稿では,大規模言語モデル(LM)に関連するリスクランドスケープの構築を支援することを目的とする。
コンピュータ科学、言語学、社会科学から多分野の専門知識と文献を参考に、幅広い確立と予測されたリスクが詳細に分析されている。
論文 参考訳（メタデータ） (2021-12-08T16:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。