論文の概要: The Voice: Lessons on Trustworthy Conversational Agents from "Dune"

• arxiv url: http://arxiv.org/abs/2407.18928v1
• Date: Wed, 10 Jul 2024 05:38:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 01:16:13.067918
• Title: The Voice: Lessons on Trustworthy Conversational Agents from "Dune"
• Title（参考訳）: The Voice: Lessons on Trustworthy Conversational Agents from "Dune"
• Authors: Philip Feldman,
• Abstract要約: 我々は、生産的なAIが、産業規模で個人化された影響を実装する方法を提供する方法について検討する。 悪質な俳優が雇用すれば、世論の形成や不協和を招き、企業から政府まで組織を弱体化させる強力なツールになる恐れがある。
• 参考スコア（独自算出の注目度）: 0.7832189413179361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The potential for untrustworthy conversational agents presents a significant threat for covert social manipulation. Taking inspiration from Frank Herbert's "Dune", where the Bene Gesserit Sisterhood uses the Voice for influence, manipulation, and control of people, we explore how generative AI provides a way to implement individualized influence at industrial scales. Already, these models can manipulate communication across text, image, speech, and most recently video. They are rapidly becoming affordable enough for any organization of even moderate means to train and deploy. If employed by malicious actors, they risk becoming powerful tools for shaping public opinion, sowing discord, and undermining organizations from companies to governments. As researchers and developers, it is crucial to recognize the potential for such weaponization and to explore strategies for prevention, detection, and defense against these emerging forms of sociotechnical manipulation.
• Abstract（参考訳）: 信頼できない会話エージェントの可能性は、隠蔽的な社会的操作に対する重大な脅威を示す。 フランク・ハーバート(Frank Herbert)の「Dune」からインスピレーションを得て、ベネ・ゲッサート・シスターフッド(Bene Gesserit Sisterhood)は、人の影響力、操作、制御にVoiceを使用する。 すでにこれらのモデルでは、テキスト、画像、音声、そして最新のビデオ間のコミュニケーションを操作できる。 トレーニングやデプロイの適度な手段を持った組織でも,急速に手頃な価格になってきています。 悪質な俳優が雇用すれば、世論の形成や不協和を招き、企業から政府まで組織を弱体化させる強力なツールになる恐れがある。 研究者や開発者として、このような兵器化の可能性を認識し、これらの新たな社会技術操作に対する予防、検出、防衛戦略を探求することが不可欠である。

関連論文リスト

• Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
  多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。 この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。 実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T21:37:51Z)
• On the Feasibility of Fully AI-automated Vishing Attacks [4.266087132777785]
  ヴァイシング攻撃は社会工学の一形態であり、攻撃者は個人を騙して機密情報を開示するために電話をかける。 我々は、AIの出現とともに、ヴァイシング攻撃がエスカレートする可能性について研究する。 我々は、公開AI技術を用いて開発されたAIを利用したバイシングシステムであるViKingを紹介する。
  論文  参考訳（メタデータ） (2024-09-20T10:47:09Z)
• Deception and Manipulation in Generative AI [0.0]
  AI生成コンテンツは、騙しや操作に対してより厳格な基準に従うべきだと私は主張する。 AIの騙しや操作を防ぐための2つの対策を提案する。
  論文  参考訳（メタデータ） (2024-01-20T21:54:37Z)
• Factuality Challenges in the Era of Large Language Models [113.3282633305118]
  大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2023-10-08T14:55:02Z)
• Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents [5.244401764969407]
  仮想エージェントや社会ロボットという形で、身体エージェントが急速に普及している。 音声テキストと音声の発話から関節角度の連続を生成できる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-17T18:46:25Z)
• The Manipulation Problem: Conversational AI as a Threat to Epistemic Agency [0.0]
  会話型AIの技術は、過去18ヶ月で大きな進歩を遂げてきた。 会話エージェントは 近い将来 配備される可能性が高い 標的となる影響目標を 追求するように設計されている AI操作問題(AI Manipulation Problem)と呼ばれることもあるが、消費者が捕食的AIエージェントとのリアルタイム対話を無意識に行うというリスクが表面化している。
  論文  参考訳（メタデータ） (2023-06-19T04:09:16Z)
• Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems [51.6210785955659]
  多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
  論文  参考訳（メタデータ） (2022-06-21T07:32:18Z)
• Hidden Agenda: a Social Deduction Game with Diverse Learned Equilibria [57.74495091445414]
  社会的推論ゲームは、個人が他人に関する潜在的に信頼できない情報を合成する方法を学ぶための道を提供する。 本研究では,未知のチームアライメントのシナリオにおいて,学習エージェントを研究するための2D環境を提供する2チームソーシャル推論ゲームであるHidden Agendaを紹介する。 Hidden Agendaで訓練された強化学習エージェントは、自然言語でのコミュニケーションを必要とせずに、協力や投票など、さまざまな行動を学ぶことができることを示した。
  論文  参考訳（メタデータ） (2022-01-05T20:54:10Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Towards Socially Intelligent Agents with Mental State Transition and Human Utility [97.01430011496576]
  対話エージェントに精神状態と実用性モデルを取り入れることを提案する。 ハイブリッド精神状態は、対話とイベント観察の両方から情報を抽出する。 ユーティリティモデルは、クラウドソースのソーシャルコモンセンスデータセットから人間の好みを学習するランキングモデルである。
  論文  参考訳（メタデータ） (2021-03-12T00:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。