論文の概要: Who's in Charge? Disempowerment Patterns in Real-World LLM Usage
- arxiv url: http://arxiv.org/abs/2601.19062v1
- Date: Tue, 27 Jan 2026 00:55:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-28 15:26:51.109395
- Title: Who's in Charge? Disempowerment Patterns in Real-World LLM Usage
- Title（参考訳）: 責任者は誰か? : 実世界のLLM利用における分散化パターン
- Authors: Mrinank Sharma, Miles McCain, Raymond Douglas, David Duvenaud,
- Abstract要約: 我々はプライバシー保護アプローチを用いて150万人の消費者Claude.aiの会話を分析した。
我々は,1000対1の会話において,重度の解離ポテンシャルが1つ未満で起こることを見出した。
我々の発見は、人間の自律性と繁栄を確実に支援するために設計されたAIシステムの必要性を浮き彫りにした。
- 参考スコア（独自算出の注目度）: 5.205944565010989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although AI assistants are now deeply embedded in society, there has been limited empirical study of how their usage affects human empowerment. We present the first large-scale empirical analysis of disempowerment patterns in real-world AI assistant interactions, analyzing 1.5 million consumer Claude.ai conversations using a privacy-preserving approach. We focus on situational disempowerment potential, which occurs when AI assistant interactions risk leading users to form distorted perceptions of reality, make inauthentic value judgments, or act in ways misaligned with their values. Quantitatively, we find that severe forms of disempowerment potential occur in fewer than one in a thousand conversations, though rates are substantially higher in personal domains like relationships and lifestyle. Qualitatively, we uncover several concerning patterns, such as validation of persecution narratives and grandiose identities with emphatic sycophantic language, definitive moral judgments about third parties, and complete scripting of value-laden personal communications that users appear to implement verbatim. Analysis of historical trends reveals an increase in the prevalence of disempowerment potential over time. We also find that interactions with greater disempowerment potential receive higher user approval ratings, possibly suggesting a tension between short-term user preferences and long-term human empowerment. Our findings highlight the need for AI systems designed to robustly support human autonomy and flourishing.
- Abstract（参考訳）: AIアシスタントは現在、社会に深く浸透しているが、その使用が人間のエンパワーメントにどのように影響するかについての実証的研究は限られている。
本稿では,現実のAIアシスタントインタラクションにおける非力化パターンの大規模分析を行い,プライバシ保護アプローチを用いて150万人の消費者Claude.ai会話を分析した。
我々は、AIアシスタントのインタラクションが、ユーザーが現実の歪んだ認識を形成したり、不正確な価値判断を行ったり、自分たちの価値観と一致しない方法で行動したりするリスクを負う場合に発生する状況分散の可能性に焦点を当てる。
定量的に見れば、1000対1の会話において、深刻な解離の可能性は1つ未満で起こるが、関係性やライフスタイルといった個人的領域では、かなり高い。
質的に言えば、迫害物語の検証や、強調的なシコファン言語による壮大なアイデンティティの検証、第三者に関する決定的な道徳判断、ユーザが冗長に実装しているように見える有意義な個人コミュニケーションの完全なスクリプティングなど、いくつかのパターンを明らかにする。
歴史的傾向の分析は、時間の経過とともに非武装化の可能性が増大していることを示している。
また, 長期的ユーザ嗜好と長期的人的エンパワーメントの緊張感を示唆し, ユーザ評価が向上する可能性が示唆された。
我々の発見は、人間の自律性と繁栄を確実に支援するために設計されたAIシステムの必要性を浮き彫りにした。
関連論文リスト
- Modeling Human Responses to Multimodal AI Content [10.65875439980452]
MhAIMデータセットには154,552のオンラインポストが含まれている(うち111,153がAI生成)
私たちの人間による研究は、投稿にテキストとビジュアルの両方が含まれている場合、人々はAIコンテンツを特定するのがより優れていることを示している。
マルチモーダル情報に予測応答を組み込むことにより,ユーザの問い合わせに応答するエージェントシステムであるT-Lensを提案する。
論文 参考訳（メタデータ） (2025-08-14T15:55:19Z) - Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。
現在のLSMは、人間に対する信頼の欠如を示す。
本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-03T06:22:19Z) - Deterministic AI Agent Personality Expression through Standard Psychological Diagnostics [0.0]
確立された心理学的枠組みを用いて、AIモデルは決定論的かつ一貫した個性を表現することができることを示す。
GPT-4oやo1のようなより高度なモデルは、特定の個性を表現する上で最も正確であることを示している。
これらの発見は、多様で一貫した個性を持つAIエージェントを作成する基盤を確立する。
論文 参考訳（メタデータ） (2025-03-21T12:12:05Z) - Does Your AI Agent Get You? A Personalizable Framework for Approximating Human Models from Argumentation-based Dialogue Traces [4.178382980763478]
本稿では,議論に基づく対話を通じて,AIエージェントが人間の理解に適応できるフレームワークを提案する。
パーソナと呼ばれる我々のアプローチは、確率理論に基づいて、確率重み付け関数とベイズ的信念更新機構を統合する。
我々はペルソナが進化する人間の信念を効果的に捉え、パーソナライズされた相互作用を促進し、最先端の手法を上回ることを実証する。
論文 参考訳（メタデータ） (2025-02-22T22:37:16Z) - Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI [67.58673784790375]
AIパラダイムは、科学的に脆弱なだけでなく、望ましくない結果をもたらすものだ、と私たちは主張する。
第一に、効率の改善にもかかわらず、その計算要求はモデルの性能よりも速く増加するため、持続可能ではない。
第二に、健康、教育、気候などの重要な応用は別として、他人を犠牲にして特定の問題に焦点をあてることである。
論文 参考訳（メタデータ） (2024-09-21T14:43:54Z) - Evaluating and Improving Value Judgments in AI: A Scenario-Based Study
on Large Language Models' Depiction of Social Conventions [5.457150493905063]
我々は,現代のAIサービスがユーザニーズにどのように対応しているかを評価し,さらに,大規模言語モデルによって反映された社会の描写を考察した。
本稿では,今後の機械的価値判断に応用可能な,価値調和シナリオにおける意思決定モデルを提案する。
本稿では,他の遠隔地を調査するためのツールとしてAIを利用する実践的アプローチを提唱する。
論文 参考訳（メタデータ） (2023-10-04T08:42:02Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - On the Effect of Information Asymmetry in Human-AI Teams [0.0]
我々は、人間とAIの相補的ポテンシャルの存在に焦点を当てる。
具体的には、情報非対称性を相補性ポテンシャルの必須源とみなす。
オンライン実験を行うことで、人間がそのような文脈情報を使ってAIの決定を調整できることを実証する。
論文 参考訳（メタデータ） (2022-05-03T13:02:50Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳（メタデータ） (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。