論文の概要: Recent Advances towards Safe, Responsible, and Moral Dialogue Systems: A
Survey
- arxiv url: http://arxiv.org/abs/2302.09270v1
- Date: Sat, 18 Feb 2023 09:32:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 19:31:54.491043
- Title: Recent Advances towards Safe, Responsible, and Moral Dialogue Systems: A
Survey
- Title(参考訳): 安全・責任・道徳対話システムへの最近の進歩
- Authors: Jiawen Deng, Hao Sun, Zhexin Zhang, Jiale Cheng, Minlie Huang
- Abstract要約: 安全・責任・モダル対話システム構築に向けた研究範囲の新たな視点を提示する。
本稿では,1)虐待的・有害な内容,2)不公平・差別,3)倫理的・道徳的問題,および4)誤認・プライバシー情報のリスクについて論じる。
- 参考スコア(独自算出の注目度): 51.83369778259149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of artificial intelligence, dialogue systems have been
endowed with amazing chit-chat capabilities, and there is widespread interest
and discussion about whether the generated contents are socially beneficial. In
this paper, we present a new perspective of research scope towards building a
safe, responsible, and modal dialogue system, including 1) abusive and toxic
contents, 2) unfairness and discrimination, 3) ethics and morality issues, and
4) risk of misleading and privacy information. Besides, we review the
mainstream methods for evaluating the safety of large models from the
perspectives of exposure and detection of safety issues. The recent advances in
methodologies for the safety improvement of both end-to-end dialogue systems
and pipeline-based models are further introduced. Finally, we discussed six
existing challenges towards responsible AI: explainable safety monitoring,
continuous learning of safety issues, robustness against malicious attacks,
multimodal information processing, unified research framework, and
multidisciplinary theory integration. We hope this survey will inspire further
research toward safer dialogue systems.
- Abstract(参考訳): 人工知能の開発により、対話システムは素晴らしいチャット機能を備えており、生成されたコンテンツが社会的に有益であるかどうかについての関心や議論が広まっている。
本稿では,安全で責任があり,モダルな対話システムを構築するための研究の新たな視点を提案する。
1)虐待的かつ有毒な内容
2)不公平さ及び差別
3)倫理・道徳問題、及び
4)誤解を招くリスクとプライバシー情報。
また,大型モデルの安全性を評価するための主流手法について,露出と安全問題の検出の観点から検討する。
エンド・ツー・エンドの対話システムとパイプラインベースのモデルの両方の安全性向上のための方法論の最近の進歩が紹介されている。
最後に、責任あるaiに対する6つの課題について論じた: 説明可能な安全性モニタリング、安全問題の継続的な学習、悪意のある攻撃に対する堅牢性、マルチモーダル情報処理、統一研究フレームワーク、多分野理論の統合。
この調査は、より安全な対話システムに向けたさらなる研究を促すことを願っている。
関連論文リスト
- The Art of Defending: A Systematic Evaluation and Analysis of LLM
Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。
本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-12-30T17:37:06Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-12-18T16:09:43Z) - The Last Decade in Review: Tracing the Evolution of Safety Assurance
Cases through a Comprehensive Bibliometric Analysis [7.431812376079826]
安全保証は、自動車、航空宇宙、原子力など、様々な分野において最重要事項である。
安全保証ケースを使用することで、生成されたシステム機能の正しさを検証することができ、システム障害を防止することができる。
論文 参考訳(メタデータ) (2023-11-13T17:34:23Z) - Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark [13.082034905010286]
本稿では,単一エージェントとマルチエージェントの両方のシナリオにおいて,安全クリティカルなタスクを含む環境スイートであるSafety-Gymnasiumを提案する。
Safe Policy Optimization (SafePO) という,最先端のSafeRLアルゴリズム16種からなるアルゴリズムのライブラリを提供する。
論文 参考訳(メタデータ) (2023-10-19T08:19:28Z) - Safety of autonomous vehicles: A survey on Model-based vs. AI-based
approaches [1.370633147306388]
AVの全体制御アーキテクチャを定義するための関連手法と概念について検討する。
このレビュープロセスを通じて、モデルベースの方法とAIベースのアプローチのいずれかを使用する研究を強調することを意図している。
本稿では,安全性検証技術と安全フレームワークの標準化・一般化という,AVの安全性を保証するための手法について論じる。
論文 参考訳(メタデータ) (2023-05-29T08:05:32Z) - Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。
安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文 参考訳(メタデータ) (2023-04-20T16:27:35Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Provably Safe PAC-MDP Exploration Using Analogies [87.41775218021044]
安全クリティカルドメインに強化学習を適用する上での課題は、探索と安全性のバランスをとる方法を理解することだ。
我々は,未知のダイナミックスを持つMDPにおいて,確実に安全な探索を行うアルゴリズムであるAnalogous Safe-State Exploration (ASE)を提案する。
提案手法は, PAC-MDP 感覚の準最適政策を安全に学習するために, 状態-作用対間の類似性を利用する。
論文 参考訳(メタデータ) (2020-07-07T15:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。