論文の概要: Scalable and Safe Remediation of Defective Actions in Self-Learning Conversational Systems

• arxiv url: http://arxiv.org/abs/2305.10528v1
• Date: Wed, 17 May 2023 19:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 18:17:47.059399
• Title: Scalable and Safe Remediation of Defective Actions in Self-Learning Conversational Systems
• Title（参考訳）: 自己学習型会話システムにおける欠陥行動のスケーラブルで安全な修復
• Authors: Sarthak Ahuja, Mohammad Kachuee, Fateme Sheikholeslami, Weiqing Liu, Jaeyoung Do
• Abstract要約: オフポリティ強化学習は、最先端の対話型AIの原動力となっている。 大規模な商業環境では、ポリシーの改善と継続的な経験のバランスをとることはしばしば困難である。 本稿では,過去のレグレッションインシデントレポートから得られた高精度サンプルをキュレートし,活用する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.030576576114818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Off-Policy reinforcement learning has been a driving force for the state-of-the-art conversational AIs leading to more natural humanagent interactions and improving the user satisfaction for goal-oriented agents. However, in large-scale commercial settings, it is often challenging to balance between policy improvements and experience continuity on the broad spectrum of applications handled by such system. In the literature, off-policy evaluation and guard-railing on aggregate statistics has been commonly used to address this problem. In this paper, we propose a method for curating and leveraging high-precision samples sourced from historical regression incident reports to validate, safe-guard, and improve policies prior to the online deployment. We conducted extensive experiments using data from a real-world conversational system and actual regression incidents. The proposed method is currently deployed in our production system to protect customers against broken experiences and enable long-term policy improvements.
• Abstract（参考訳）: オフポリティ強化学習は、最先端の会話型AIの推進力であり、より自然なヒューマンエージェントインタラクションをもたらし、目標指向エージェントのユーザ満足度を向上させる。 しかし、大規模な商業環境では、このようなシステムで処理される幅広いアプリケーションにおいて、ポリシーの改善と継続的な経験のバランスをとることはしばしば困難である。 文献では、この問題に対処するために、オフポリシー評価と総合統計のガードレールが一般的に用いられている。 本稿では,過去のレグレッションインシデントレポートから得られた高精度なサンプルをキュレートし,活用し,オンライン展開前の政策を検証し,保護し,改善する手法を提案する。 実世界の会話システムからのデータと実際の回帰インシデントを用いて広範な実験を行った。 提案手法は現在, 顧客を故障経験から保護し, 長期的方針改善を可能にするため, 製品システムにデプロイされている。

関連論文リスト

• Iterative Batch Reinforcement Learning via Safe Diversified Model-based Policy Search [2.0072624123275533]
  バッチ強化学習は、トレーニング中に環境と直接対話することなく、ポリシー学習を可能にする。 このアプローチは、工業制御のような高リスクでコストのかかるアプリケーションに適しています。 本稿では,アンサンブルに基づくモデルに基づくポリシー探索に基づく反復的バッチ強化学習のためのアルゴリズム手法を提案する。
  論文  参考訳（メタデータ） (2024-11-14T11:10:36Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Using In-Context Learning to Improve Dialogue Safety [45.303005593685036]
  チャットボットからの応答のバイアスや毒性を低減するための検索手法について検討する。 コンテキスト内学習を使用して、モデルをより安全な世代に向けて操る。 本手法は,トレーニングを必要とせず,強いベースラインと競合する。
  論文  参考訳（メタデータ） (2023-02-02T04:46:03Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Constrained Policy Optimization for Controlled Self-Learning in Conversational AI Systems [18.546197100318693]
  ユーザ定義制約により、個々のドメインに対するきめ細かい探索ターゲットをサポートするスケーラブルなフレームワークを導入する。 この問題に対処するために,スケーラブルで実用的なメタ段階学習手法を提案する。 我々は、現実的な制約ベンチマークのセット上で、現実世界の会話型AIのデータを使用して広範な実験を行う。
  論文  参考訳（メタデータ） (2022-09-17T23:44:13Z)
• Mitigating Off-Policy Bias in Actor-Critic Methods with One-Step Q-learning: A Novel Correction Approach [0.0]
  我々は,このような不一致が継続的制御に与える影響を軽減するために,新しい政策類似度尺度を導入する。 本手法は、決定論的政策ネットワークに適用可能な、適切な単一ステップのオフ・ポリシー補正を提供する。
  論文  参考訳（メタデータ） (2022-08-01T11:33:12Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• Benchmarks for Deep Off-Policy Evaluation [152.28569758144022]
  我々は,政策外の評価のベンチマークに使用できるポリシーの集合を提案する。 私たちのベンチマークの目標は、一連の原則から動機付けられた進歩の標準化された尺度を提供することです。 この領域における今後の研究を促進するために、当社のデータとコードに対するオープンソースアクセスを提供しています。
  論文  参考訳（メタデータ） (2021-03-30T18:09:33Z)
• Causal-aware Safe Policy Improvement for Task-oriented dialogue [45.88777832381149]
  我々はタスク指向対話政策学習のためのバッチrlフレームワークを提案する:causal safe policy improvement (caspi) Multiwoz2.0データセットの対話対テキスト生成およびエンドツーエンド対話タスクにおけるこのフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-10T22:34:28Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。