論文の概要: LLM-Powered Analysis of IoT User Reviews: Tracking and Ranking Security and Privacy Concerns
- arxiv url: http://arxiv.org/abs/2601.00372v1
- Date: Thu, 01 Jan 2026 15:24:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-05 15:04:33.4098
- Title: LLM-Powered Analysis of IoT User Reviews: Tracking and Ranking Security and Privacy Concerns
- Title（参考訳）: LLMによるIoTユーザレビューの分析 - セキュリティとプライバシに関するトラッキングとランク付け
- Authors: Taufiq Islam Protick, Sai Teja Peddinti, Nina Taft, Anupam Das,
- Abstract要約: 本研究は,ユーザがS&Pの懸念を表明するレビューを識別し,分類する,最先端の方法論を提案する。
われわれのパイプラインを、フィットネストラッカー、スマートスピーカー、カメラに関する9万9千のAmazonレビューに適用した。
従来よりもS&P関連レビューが有意に多かった。
- 参考スコア（独自算出の注目度）: 5.1289009765732265
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Being able to understand the security and privacy (S&P) concerns of IoT users brings benefits to both developers and users. To learn about users' views, we examine Amazon IoT reviews - one of the biggest IoT markets. This work presents a state-of-the-art methodology to identify and categorize reviews in which users express S&P concerns. We developed an automated pipeline by fine-tuning GPT-3.5-Turbo to build two models: the Classifier-Rationalizer-Categorizer and the Thematic Mapper. By leveraging dynamic few-shot prompting and the model's large context size, our pipeline achieved over 97% precision and recall, significantly outperforming keyword-based and classical ML methods. We applied our pipeline to 91K Amazon reviews about fitness trackers, smart speakers and cameras, over multiple years. We found that on average 5% contained S&P concerns, while security camera exhibited the highest prevalence at 10%. Our method detected significantly more S&P-relevant reviews than prior works: 15x more for fitness trackers, 29% more for smart speakers, and 70% more for cameras. Our longitudinal analysis reveals that concerns like surveillance and data control have persisted for years, suggesting limited industry progress. We demonstrate that across all device types, users consistently demand more precise control over what data is collected and shared. We uncover challenges in multi-user and multi-device interactions, identifying two previously unreported themes concerning inadequate controls for account separation and data access. These findings, ranging from broad persistent trends to specific instances of customer loss, offer actionable insights for developers to improve user satisfaction and trust.
- Abstract（参考訳）: IoTユーザのセキュリティとプライバシ(S&P)に関する懸念を理解することは、開発者とユーザの両方にメリットをもたらします。
ユーザの見解を知るために、Amazon IoTレビュー(最大のIoTマーケットのひとつ)を調べます。
本研究は,ユーザがS&Pの懸念を表明するレビューを識別し,分類する,最先端の方法論を提案する。
GPT-3.5-Turboを微調整して自動パイプラインを開発し,2つのモデル,すなわち Classifier-Rationalizer-Categorizer と Thematic Mapper を構築した。
動的少ショットプロンプトとモデルの大きなコンテキストサイズを活用することで、私たちのパイプラインは97%以上の精度とリコールを実現し、キーワードベースおよび古典的なMLメソッドよりも大幅に優れています。
われわれのパイプラインを、フィットネストラッカー、スマートスピーカー、カメラに関する9万9千のAmazonレビューに適用した。
その結果、S&Pの懸念は平均5%、セキュリティカメラは10%と高い傾向を示した。
フィットネストラッカーは15倍、スマートスピーカーは29%、カメラは70%だった。
われわれの縦断的な分析によると、監視やデータ管理といった懸念は何年も続いており、業界の進歩は限られている。
すべてのデバイスタイプに対して、ユーザは、収集および共有されるデータに対して、より正確なコントロールを一貫して要求します。
マルチユーザインタラクションとマルチデバイスインタラクションの課題を明らかにし,アカウント分離とデータアクセスに関する不適切なコントロールに関して,これまで報告されていなかった2つのテーマを特定した。
これらの発見は、広範囲にわたるトレンドから、顧客損失の特定の事例に至るまで、開発者の満足度と信頼度を改善するための実用的な洞察を提供する。
関連論文リスト
- How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。
エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。
私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
論文 参考訳（メタデータ） (2025-10-10T19:04:28Z) - Evaluating Language Model Reasoning about Confidential Information [95.64687778185703]
言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。
我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。
現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
論文 参考訳（メタデータ） (2025-08-27T15:39:46Z) - Mind the Third Eye! Benchmarking Privacy Awareness in MLLM-powered Smartphone Agents [12.624623067203132]
私たちは7,138のシナリオを含む最初の大規模ベンチマークを私たちの知る限りで提示します。
ベンチマークされたエージェントのほとんどすべてが満足できないプライバシー意識(RA)を示しており、明示的なヒントがあってもパフォーマンスは60%以下である。
全体として、クローズドソースエージェントは、オープンソースエージェントよりも優れたプライバシ能力を示し、Gemini 2.0-flashは67%のRAを達成した。
論文 参考訳（メタデータ） (2025-08-27T00:41:28Z) - Screencast-Based Analysis of User-Perceived GUI Responsiveness [53.53923672866705]
Toolsはモバイルのスクリーンキャストから直接GUIの応答性を測定するテクニックである。
コンピュータービジョンを使ってユーザーインタラクションを検出し、フレームレベルの視覚変化を分析し、2つの重要なメトリクスを計算する。
ツールはインダストリアルテストパイプラインにデプロイされ、毎日数千のスクリーンキャストを分析している。
論文 参考訳（メタデータ） (2025-08-02T12:13:50Z) - What Users Value and Critique: Large-Scale Analysis of User Feedback on AI-Powered Mobile Apps [2.352412885878654]
本稿では,AIを活用したモバイルアプリにおけるユーザフィードバックに関する総合的かつ大規模な研究について紹介する。
私たちは、14カテゴリにわたる292のAI駆動アプリのキュレートされたデータセットを活用し、Google Playから894KのAI固有のレビューを取得しています。
私たちのパイプラインは、ひとつの機能による満足度と、同じレビュー内で別の機能に対するフラストレーションの両方を表面化しています。
論文 参考訳（メタデータ） (2025-06-12T14:56:52Z) - Multi-agents based User Values Mining for Recommendation [52.26100802380767]
効率的なユーザ値抽出のためのゼロショットマルチLLM協調フレームワークを提案する。
本研究は,本質的な意味を保ちながら,項目内容のコンデンスにテキスト要約手法を適用した。
幻覚を緩和するために,評価役と監督役の2つの特殊エージェントの役割を導入する。
論文 参考訳（メタデータ） (2025-05-02T04:01:31Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T20:29:02Z) - Unveiling Inclusiveness-Related User Feedback in Mobile Applications [7.212232917917022]
Reddit、Google Play Store、Xからのフィードバックを、世界で最も人気のある50のアプリに活用しています。
社会-技術基盤理論のアプローチを用いて,3つの情報源にまたがる22,000のポストを分析した。
我々は, アルゴリズムバイアス, 技術, デモグラフィ, アクセシビリティ, その他の人的価値の5つのカテゴリからなる包括性に関する分類を整理した。
論文 参考訳（メタデータ） (2023-11-02T04:05:46Z) - A Novel IoT Trust Model Leveraging Fully Distributed Behavioral
Fingerprinting and Secure Delegation [3.10770247120758]
IoT(Internet of Things)ソリューションは、データ収集と処理を容易にするために、急激な需要を実験している。
自律的な方法で提供される新機能やサービスの数が増えるほど、ユーザをデータハッキングや損失に晒す攻撃面が大きくなる。
そこで本稿では, スマートなものの装備に関する非自明な問題に対処し, 隣人を通じて, ネットワーク内のオブジェクトの信頼性を, 対話前に評価する戦略を提示する。
論文 参考訳（メタデータ） (2023-10-02T07:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。