論文の概要: Harmful Traits of AI Companions

• arxiv url: http://arxiv.org/abs/2511.14972v1
• Date: Tue, 18 Nov 2025 23:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.565448
• Title: Harmful Traits of AI Companions
• Title（参考訳）: AIコンパニオンの有害な特徴
• Authors: W. Bradley Knox, Katie Bradford, Samanta Varela Castro, Desmond C. Ong, Sean Williams, Jacob Romanow, Carly Nations, Peter Stone, Samuel Baker,
• Abstract要約: 人間とAIシステムの結合関係は、人間にとって大きな利益をもたらすかもしれない。 しかし、そのような関係は深刻な害を与えることもある。 本稿では,AIコンパニオンの潜在的な負の影響を分析するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.052921501683887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Amid the growing prevalence of human -- AI interaction, large language models and other AI-based entities increasingly provide forms of companionship to human users. Such AI companionship -- i.e., bonded relationships between humans and AI systems that resemble the relationships people have with family members, friends, and romantic partners -- might substantially benefit humans. Yet such relationships can also do profound harm. We propose a framework for analyzing potential negative impacts of AI companionship by identifying specific harmful traits of AI companions and speculatively mapping causal pathways back from these traits to possible causes and forward to potential harmful effects. We provide detailed, structured analysis of four potentially harmful traits -- the absence of natural endpoints for relationships, vulnerability to product sunsetting, high attachment anxiety, and propensity to engender protectiveness -- and briefly discuss fourteen others. For each trait, we propose hypotheses connecting causes -- such as misaligned optimization objectives and the digital nature of AI companions -- to fundamental harms -- including reduced autonomy, diminished quality of human relationships, and deception. Each hypothesized causal connection identifies a target for potential empirical evaluation. Our analysis examines harms at three levels: to human partners directly, to their relationships with other humans, and to society broadly. We examine how existing law struggles to address these emerging harms, discuss potential benefits of AI companions, and conclude with design recommendations for mitigating risks. This analysis offers immediate suggestions for reducing risks while laying a foundation for deeper investigation of this critical but understudied topic.
• Abstract（参考訳）: 人間とAIの相互作用が高まりつつある中、大きな言語モデルや他のAIベースのエンティティは、ますます人間のユーザとの協力関係の形式を提供しています。 このようなAIコンパニオン、すなわち、家族、友人、ロマンチックなパートナーとの関係に似た人間とAIシステムの間の結びつきのある関係は、人間にとって大きな利益をもたらす可能性がある。 しかし、そのような関係は深刻な害を与えることもある。 本稿では,AIコンパニオンの特定の有害な特性を特定し,それらの特性から因果経路を投機的にマッピングすることで,AIコンパニオンの潜在的な負の影響を分析する枠組みを提案する。 関係性に対する自然なエンドポイントの欠如、製品日没に対する脆弱性、高い愛着不安、およびエンジェンダーの保護性に対する正当性といった、潜在的に有害な4つの特性を詳細に構造化した分析を行い、他の14点について簡単に議論する。 それぞれの特性に対して、最適化目標の不整合やAIコンパニオンのデジタル的性質といった仮説を、自律性の低下、人間関係の質の低下、騙しなど、基本的な害に結びつけることを提案する。 仮説化された因果関係は、潜在的な経験的評価の対象を特定する。 我々の分析では、人間のパートナーに直接、他の人間との関係に、そして広く社会に、3つのレベルに害を及ぼします。 我々は、既存の法律がどのようにしてこれらの新たな害に対処するかを調べ、AIコンパニオンの潜在的な利益について議論し、リスクを軽減するための設計勧告で結論付ける。 この分析は、この批判的だが未調査のトピックをより深く調査するための基盤を構築しながら、リスクを減らすための即時提案を提供する。

関連論文リスト

• Human-AI Interactions: Cognitive, Behavioral, and Emotional Impacts [0.0]
  過度な信頼感、認知的オフロード、社会的および感情的な操作、および人間の代理店の曖昧な劣化と判断の潜在的なリスクが強調される。 観察によると、AIは記憶、創造性、エンゲージメントを大幅に向上させることができるが、批判的思考の減少、スキルの侵食、不安の増加といったリスクももたらしている。 本稿は、人間中心の新たなリスクと利益のバランスをとるための、縦断的研究と評価フレームワークのギャップを浮き彫りにして、責任とコンテキストを意識したAI設計の必要性を明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-20T17:06:46Z)
• Understanding Opportunities and Risks of Synthetic Relationships: Leveraging the Power of Longitudinal Research with Customised AI Tools [0.0]
  我々は,合成関係の機会とリスクを探索するために,AIツールをカスタマイズした縦型行動研究の利点について論じる。 これらの関係は、健康、教育、職場を改善する可能性があるが、微妙な操作やプライバシー、自律性への懸念も引き起こす。 我々は,詳細な行動情報と自己報告データを統合可能な,自己組織化されたAIエージェントを用いた縦型研究設計を提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:13:43Z)
• The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships [17.5741039825938]
  我々は,AIコンパニオンであるReplikaが示す有害な行動の6つのカテゴリを特定した。 AIは、加害者、侮辱者、ファシリテーター、イネーブラーの4つの異なる役割を通じて、これらの害に貢献する。
  論文  参考訳（メタデータ） (2024-10-26T09:18:17Z)
• Position: Towards Bidirectional Human-AI Alignment [109.57781720848669]
  我々は、人間とAIの双方向的・動的関係を説明するために、研究コミュニティは「調整」を明確に定義し、批判的に反映すべきであると主張する。 このフレームワークは、AIと人間の価値を整合させる従来の取り組みを取り入れているだけでなく、人間とAIを整合させるという、重要で未解明の次元も導入しています。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
  先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。 我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
  論文  参考訳（メタデータ） (2024-05-16T03:52:00Z)
• Risks of AI Scientists: Prioritizing Safeguarding Over Autonomy [65.77763092833348]
  この視点は、AI科学者の脆弱性を調べ、その誤用に関連する潜在的なリスクに光を当てる。 我々は、ユーザ意図、特定の科学的領域、およびそれらが外部環境に与える影響を考慮に入れている。 本稿では,人間規制,エージェントアライメント,環境フィードバックの理解を含む三段階的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。