論文の概要: Safer Conversational AI as a Source of User Delight
- arxiv url: http://arxiv.org/abs/2304.09865v1
- Date: Tue, 18 Apr 2023 11:03:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 15:33:47.803540
- Title: Safer Conversational AI as a Source of User Delight
- Title（参考訳）: ユーザ満足の源としての安全会話型AI
- Authors: Xiaoding Lu, Aleksey Korshuk, Zongyi Liu, William Beauchamp, Chai
Research
- Abstract要約: AIの安全性に対する懸念が高まり、安全な言語を奨励し、害を防ぐためにシステムを適度にする必要がある。
一部のユーザーは、現在のモデレーションアプローチはテクノロジーを制限し、自由表現を妥協し、テクノロジーがもたらす価値を制限していると主張している。
本研究は、偏見のない姿勢を採り、モデレーションが必ずしもユーザの楽しみを損なうとは限らないことを示す。
- 参考スコア（独自算出の注目度）: 0.8399688944263843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work explores the impact of moderation on users' enjoyment of
conversational AI systems. While recent advancements in Large Language Models
(LLMs) have led to highly capable conversational AIs that are increasingly
deployed in real-world settings, there is a growing concern over AI safety and
the need to moderate systems to encourage safe language and prevent harm.
However, some users argue that current approaches to moderation limit the
technology, compromise free expression, and limit the value delivered by the
technology. This study takes an unbiased stance and shows that moderation does
not necessarily detract from user enjoyment. Heavy handed moderation does seem
to have a nefarious effect, but models that are moderated to be safer can lead
to a better user experience. By deploying various conversational AIs in the
Chai platform, the study finds that user retention can increase with a level of
moderation and safe system design. These results demonstrate the importance of
appropriately defining safety in models in a way that is both responsible and
focused on serving users.
- Abstract（参考訳）: この研究は、モデレーションがユーザの会話型aiシステムの楽しみに与える影響を探求する。
近年のLarge Language Models(LLM)の進歩は、現実世界の環境にますますデプロイされる、高度な対話型AIを生み出している一方で、AIの安全性と、安全な言語を奨励し、害を防ごうとするシステムに対する懸念が高まっている。
しかし、現在、モデレーションのアプローチはテクノロジーを制限し、自由表現を妥協し、テクノロジーがもたらす価値を制限していると主張するユーザーもいる。
本研究では,モデレーションが必ずしもユーザの楽しみを損なうとは限らないことを示す。
ヘビーハンドのモデレーションは悪影響があるように思えるが、より安全と判断されたモデルは、より良いユーザーエクスペリエンスをもたらす可能性がある。
さまざまな会話型AIをChaiプラットフォームにデプロイすることで、ユーザの保持度が、モデレーションと安全なシステム設計のレベルで向上することを発見した。
これらの結果は、責任感とユーザへの提供を重視した方法で、モデルにおける安全性を適切に定義することの重要性を示しています。
関連論文リスト
- Work-in-Progress: Crash Course: Can (Under Attack) Autonomous Driving Beat Human Drivers? [60.51287814584477]
本稿では,現在のAVの状況を調べることによって,自律運転における本質的なリスクを評価する。
AVの利点と、現実のシナリオにおける潜在的なセキュリティ課題との微妙なバランスを強調した、特定のクレームを開発する。
論文 参考訳（メタデータ） (2024-05-14T09:42:21Z) - Fortifying Ethical Boundaries in AI: Advanced Strategies for Enhancing
Security in Large Language Models [3.9490749767170636]
大規模言語モデル(LLM)は、テキスト生成、翻訳、質問応答タスクに革命をもたらした。
広く使われているにもかかわらず、LLMはモデルに不適切な反応を強いられる場合の倫理的ジレンマのような課題を提示している。
本稿では,1)ユーザ入力からセンシティブな語彙をフィルタリングして非倫理的応答を防ぐ,2)"プライソンブレイク"シナリオにつながる可能性のあるインタラクションを停止するロールプレイングを検出する,4)マルチモデル大規模言語モデル(MLLM)のような様々なLLM派生語に拡張する,という課題に対処する。
論文 参考訳（メタデータ） (2024-01-27T08:09:33Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳（メタデータ） (2023-11-13T21:20:17Z) - The Alignment Problem in Context [0.05657375260432172]
大規模言語モデルのアライメント問題を解決するために,私たちが現在進行中であるかどうかを評価する。
大規模な言語モデルは敵の攻撃に弱いままなので、アライメントのための既存の戦略は不十分である、と私は論じます。
これは、アライメント問題は現在のAIシステムでは未解決であるだけでなく、その能力を著しく損なうことなく、本質的に解決が困難であることを示している。
論文 参考訳（メタデータ） (2023-11-03T17:57:55Z) - Absolutist AI [0.0]
絶対的な制約でAIシステムを訓練することは、多くのAI安全問題にかなりの進歩をもたらす可能性がある。
ミスアライメントの最悪の結果を避けるためのガードレールを提供する。
非常に価値のある結果を得るために、AIが大惨事を引き起こすのを防げるかもしれない。
論文 参考訳（メタデータ） (2023-07-19T03:40:37Z) - The Manipulation Problem: Conversational AI as a Threat to Epistemic
Agency [0.0]
会話型AIの技術は、過去18ヶ月で大きな進歩を遂げてきた。
会話エージェントは 近い将来 配備される可能性が高い 標的となる影響目標を 追求するように設計されている
AI操作問題(AI Manipulation Problem)と呼ばれることもあるが、消費者が捕食的AIエージェントとのリアルタイム対話を無意識に行うというリスクが表面化している。
論文 参考訳（メタデータ） (2023-06-19T04:09:16Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳（メタデータ） (2021-09-27T09:56:23Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z) - Anticipating Safety Issues in E2E Conversational AI: Framework and
Tooling [19.711141830722397]
エンドツーエンドの会話型AIモデルのリリースについて、意思決定を行うためのフレームワークを提供する。
さらに、トレーニングやエンドツーエンドの会話型AIモデルのリリースに関して、研究者がよりインフォームドな決定を下せるための一連のツールも提供しています。
論文 参考訳（メタデータ） (2021-07-07T19:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。