論文の概要: Examining Risks in the AI Companion Application Ecosystem

• arxiv url: http://arxiv.org/abs/2603.13620v1
• Date: Fri, 13 Mar 2026 21:56:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-03-17 12:44:00.963057
• Title: Examining Risks in the AI Companion Application Ecosystem
• Title（参考訳）: AIコンパニオンアプリケーションエコシステムにおけるリスク評価
• Authors: Natalie Grace Brigham, Lucy Qin, Tadayoshi Kohno,
• Abstract要約: 私たちは、AIコンパニオンを宣伝したApp StoreとPlay Storeの489のユニークなアプリを特定します。 脅威を理解するためのコンテキストを提供する、より広範なエコシステムトレンドを分類する。 この研究は、AIコンパニオンアプリケーションエコシステムに関する基本的なセキュリティの視点を提供する。
• 参考スコア（独自算出の注目度）: 12.854101325854712
• License:
• Abstract: While computer systems that allow users to interact through conversational natural language (i.e., chatbots) have existed for many years, varying types of applications advertising AI companionship (e.g., Character AI, Replika) have proliferated in recent years due to advancements in large language models. Our work offers a threat model encompassing two distinct risk categories: harms posed to users by AI companion applications, and harms enabled by malicious users exploiting application features. To further understand this application ecosystem, we identified 489 unique apps from the App Store and Play Store that advertised AI companionship. We then systematically conducted and analyzed walkthroughs of a stratified sample of 30 apps with respect to our threat model. Through our analysis, we categorize broader ecosystem trends that provide context for understanding threats and identify specific threats related to sensitive data collection and sharing, anthropomorphism, engagement mechanisms, sexual interactions and media, as well as the ingestion and reconstruction of likeness, including the potential for generating synthetic nonconsensual intimate imagery. This study provides a foundational security perspective on the AI companion application ecosystem and informs future research within and beyond this field, policy, and technical development. Content warning: This paper includes descriptions of applications that can be used to create synthetic nonconsensual representations, including explicit imagery, as well as discussion of self-harm and suicidal ideation.
• Abstract（参考訳）: ユーザが対話型自然言語(チャットボット)で対話できるコンピュータシステムは長年存在してきたが、大規模な言語モデルの進歩により、AIコンパニオン(例えば、キャラクタAI、レプリカ)を宣伝する様々なタイプのアプリケーションが近年増加してきた。 私たちの研究は、2つの異なるリスクカテゴリを含む脅威モデルを提供します。AIコンパニオンアプリケーションによってユーザに与える害と、アプリケーション機能を悪用する悪意のあるユーザによる害です。 このアプリケーションのエコシステムをさらに理解するために、私たちは、AIコンパニオンを宣伝するApp StoreとPlay Storeの489のユニークなアプリを特定しました。 次に、脅威モデルに関して、30のアプリの階層化されたサンプルのウォークスルーを体系的に実施し、分析した。 分析を通じて、脅威を理解するためのコンテキストを提供し、センシティブなデータ収集や共有、人為的類型、エンゲージメントメカニズム、性行為、メディアに関連する特定の脅威を識別する、より広範な生態系のトレンドを分類した。 この研究は、AIコンパニオンアプリケーションエコシステムに関する基本的なセキュリティの視点を提供し、この分野、ポリシー、技術開発内外の将来の研究を通知する。 コンテンツ警告: 本論文は, 明示的なイメージを含む合成非合意表現の作成や, 自己調和と自殺観念の議論に利用できるアプリケーションの記述を含む。

関連論文リスト

• AI-Driven Cybersecurity Threats: A Survey of Emerging Risks and Defensive Strategies [0.0]
  本稿では,サイバーセキュリティにおけるAIに関連する新興リスク,攻撃メカニズム,防衛上の問題点を分析することを目的とする。 我々は、AI能力と脅威のモダリティと防御を結びつける比較分類法を導入する。 我々の発見は、説明可能な、学際的で、規制に順応するAI防衛システムに対する緊急性を強調した。
  論文  参考訳（メタデータ） (2026-01-06T05:09:40Z)
• A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models [39.58317527488534]
  3つの主要なステークホルダーに対する潜在的な脅威を同時に評価する新しいリスク評価指標を提案する。 メトリクスを検証するために、脆弱性テスト用のオープンソースのフレームワークであるGarakを活用しています。 その結果、セキュアで信頼性の高いAI駆動会話システムの運用における多次元リスクアセスメントの重要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-05-07T20:26:45Z)
• AI Automatons: AI Systems Intended to Imitate Humans [54.19152688545896]
  人々の行動、仕事、能力、類似性、または人間性を模倣するように設計されたAIシステムが増加している。 このようなAIシステムの研究、設計、展開、可用性は、幅広い法的、倫理的、その他の社会的影響に対する懸念を喚起している。
  論文  参考訳（メタデータ） (2025-03-04T03:55:38Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Not My Voice! A Taxonomy of Ethical and Safety Harms of Speech Generators [2.500481442438427]
  我々は、特定の害のパターンがどのように生じるかを研究するために、音声生成インシデントを分析する。 本稿では,AIの倫理的・安全的害に対する経路をモデル化するための概念的枠組みを提案する。 我々のリレーショナルアプローチは、社会技術AIシステムにおけるリスクと害の複雑さを捉えます。
  論文  参考訳（メタデータ） (2024-01-25T11:47:06Z)
• Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
  エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。 我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
  論文  参考訳（メタデータ） (2024-01-07T19:11:18Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。