論文の概要: Characterizing Manipulation from AI Systems

• arxiv url: http://arxiv.org/abs/2303.09387v3
• Date: Mon, 30 Oct 2023 13:50:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:45:23.112066
• Title: Characterizing Manipulation from AI Systems
• Title（参考訳）: AIシステムによるマニピュレーションの特徴付け
• Authors: Micah Carroll, Alan Chan, Henry Ashton, David Krueger
• Abstract要約: 我々は、他の分野からの操作に関する文献の上に構築し、操作の可能な概念の空間を特徴づける。 本稿では,特徴量に基づく操作の定義を提案する。 第3に,不正や強制など,操作と関連する概念の関連性について論じる。
• 参考スコア（独自算出の注目度）: 7.344068411174193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Manipulation is a common concern in many domains, such as social media, advertising, and chatbots. As AI systems mediate more of our interactions with the world, it is important to understand the degree to which AI systems might manipulate humans without the intent of the system designers. Our work clarifies challenges in defining and measuring manipulation in the context of AI systems. Firstly, we build upon prior literature on manipulation from other fields and characterize the space of possible notions of manipulation, which we find to depend upon the concepts of incentives, intent, harm, and covertness. We review proposals on how to operationalize each factor. Second, we propose a definition of manipulation based on our characterization: a system is manipulative if it acts as if it were pursuing an incentive to change a human (or another agent) intentionally and covertly. Third, we discuss the connections between manipulation and related concepts, such as deception and coercion. Finally, we contextualize our operationalization of manipulation in some applications. Our overall assessment is that while some progress has been made in defining and measuring manipulation from AI systems, many gaps remain. In the absence of a consensus definition and reliable tools for measurement, we cannot rule out the possibility that AI systems learn to manipulate humans without the intent of the system designers. We argue that such manipulation poses a significant threat to human autonomy, suggesting that precautionary actions to mitigate it are warranted.
• Abstract（参考訳）: 操作は、ソーシャルメディア、広告、チャットボットなど、多くのドメインで共通の関心事である。 AIシステムは世界とのインタラクションをより仲介するので、システム設計者の意図なしにAIシステムが人間を操作できる程度を理解することが重要である。 我々の研究は、AIシステムのコンテキストにおける操作の定義と測定における課題を明らかにする。 第一に、私たちは他の分野からの操作に関する先行文献を構築し、インセンティブ、意図、危害、隠ぺいの概念に依存する操作の可能な概念の空間を特徴づける。 各要因の運用方法についての提案をレビューする。 第2に,人間(または他のエージェント)を意図的にかつ秘密的に変化させるインセンティブを追求しているかのように振る舞う場合,システムはマニピュレーションである,という特徴に基づく操作の定義を提案する。 第3に,マニピュレーションと関連する概念(デセプションや強制など)との関係について論じる。 最後に、いくつかのアプリケーションにおける操作の運用をコンテキスト化します。 全体的な評価では、AIシステムによる操作の定義と測定にいくつかの進歩があったが、多くのギャップが残っている。 コンセンサスの定義や測定のための信頼できるツールがないため、システム設計者の意図なしにAIシステムが人間の操作を学ぶ可能性を排除することはできない。 このような操作は、人間の自律性に重大な脅威をもたらし、それを軽減するための予防措置が保証されていることを示唆している。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Human-Modeling in Sequential Decision-Making: An Analysis through the Lens of Human-Aware AI [20.21053807133341]
  私たちは、人間を意識したAIシステムを構成するものの説明を提供しようとしています。 人間を意識したAIはデザイン指向のパラダイムであり、人間と対話するかもしれないモデリングの必要性に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-13T14:17:52Z)
• Trust in AI: Progress, Challenges, and Future Directions [6.724854390957174]
  私たちの日常生活における人工知能(AI)システムの利用の増加は、ユーザの視点からAIにおける信頼と不信の重要性を説明してくれます。 AIにおける信頼/不信は規制官の役割を担い、この拡散のレベルを著しく制御することができる。
  論文  参考訳（メタデータ） (2024-03-12T20:26:49Z)
• Deception and Manipulation in Generative AI [0.0]
  AI生成コンテンツは、騙しや操作に対してより厳格な基準に従うべきだと私は主張する。 AIの騙しや操作を防ぐための2つの対策を提案する。
  論文  参考訳（メタデータ） (2024-01-20T21:54:37Z)
• Artificial Influence: An Analysis Of AI-Driven Persuasion [0.0]
  ユビキタスで高説得力のあるAIシステムは、私たちの情報環境を大きく変えて、私たちの将来の人間のコントロールを失うのに寄与する、と警告する。 われわれは、これらのソリューションはどれも監視されていないと結論し、個人や政府は、説得力のあるAIの最も悪影響から守るために、積極的な措置を講じる必要があると結論付けている。
  論文  参考訳（メタデータ） (2023-03-15T16:05:11Z)
• "No, to the Right" -- Online Language Corrections for Robotic Manipulation via Shared Autonomy [70.45420918526926]
  LILACは、実行中に自然言語の修正をオンラインで実施し、適応するためのフレームワークである。 LILACは人間とロボットを個別にターンテイクする代わりに、人間とロボットの間にエージェンシーを分割する。 提案手法は,タスク完了率が高く,ユーザによって主観的に好まれることを示す。
  論文  参考訳（メタデータ） (2023-01-06T15:03:27Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)
• Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream [4.450615100675747]
  本稿では,ロボットと人間の操作の双方に対して,厳密な制約付き知識領域の下で視覚データセットを提案する。 本稿では,視覚的注意とコモンセンス知識に満ちた知識グラフを組み合わせて生成する手法を提案する。 提案手法により,ロボットはリアルタイム映像を視聴することで,人間の意図的な動作を模倣することができる。
  論文  参考訳（メタデータ） (2020-03-02T19:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。