論文の概要: SafeChat: A Framework for Building Trustworthy Collaborative Assistants and a Case Study of its Usefulness

• arxiv url: http://arxiv.org/abs/2504.07995v1
• Date: Tue, 08 Apr 2025 19:16:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:19:23.053567
• Title: SafeChat: A Framework for Building Trustworthy Collaborative Assistants and a Case Study of its Usefulness
• Title（参考訳）: SafeChat: 信頼できるコラボレーションアシスタント構築のためのフレームワークとその有用性に関する事例研究
• Authors: Biplav Srivastava, Kausik Lakkaraju, Nitin Gupta, Vansh Nagpal, Bharath C. Muppasani, Sara E. Jones,
• Abstract要約: SafeChatは、安全で信頼性の高いチャットボットを構築するための一般的なアーキテクチャです。 SafeChatの主な特徴は、 (a) 応答が承認されたソース(保証)に対して基礎付けられてトレース可能なドメインに依存しない設計による安全性、 (b) ユーザビリティ、長いレスポンスの自動抽出によるソースへのトレーサビリティ、 (c) CSV駆動ワークフロー、自動テスト、各種デバイスとの統合を含む、高速でスケーラブルな開発である。
• 参考スコア（独自算出の注目度）: 4.896226014796392
• License:
• Abstract: Collaborative assistants, or chatbots, are data-driven decision support systems that enable natural interaction for task completion. While they can meet critical needs in modern society, concerns about their reliability and trustworthiness persist. In particular, Large Language Model (LLM)-based chatbots like ChatGPT, Gemini, and DeepSeek are becoming more accessible. However, such chatbots have limitations, including their inability to explain response generation, the risk of generating problematic content, the lack of standardized testing for reliability, and the need for deep AI expertise and extended development times. These issues make chatbots unsuitable for trust-sensitive applications like elections or healthcare. To address these concerns, we introduce SafeChat, a general architecture for building safe and trustworthy chatbots, with a focus on information retrieval use cases. Key features of SafeChat include: (a) safety, with a domain-agnostic design where responses are grounded and traceable to approved sources (provenance), and 'do-not-respond' strategies to prevent harmful answers; (b) usability, with automatic extractive summarization of long responses, traceable to their sources, and automated trust assessments to communicate expected chatbot behavior, such as sentiment; and (c) fast, scalable development, including a CSV-driven workflow, automated testing, and integration with various devices. We implemented SafeChat in an executable framework using the open-source chatbot platform Rasa. A case study demonstrates its application in building ElectionBot-SC, a chatbot designed to safely disseminate official election information. SafeChat is being used in many domains, validating its potential, and is available at: https://github.com/ai4society/trustworthy-chatbot.
• Abstract（参考訳）: 協調アシスタント(英: Collaborative Assistants、チャットボット)は、タスク完了のための自然なインタラクションを可能にするデータ駆動型意思決定支援システムである。 現代の社会において重要なニーズを満たすことができるが、信頼性と信頼性に対する懸念は持続する。 特に、ChatGPT、Gemini、DeepSeekなどのLarge Language Model(LLM)ベースのチャットボットは、よりアクセスしやすくなっている。 しかしながら、このようなチャットボットには、応答生成のできないこと、問題のあるコンテンツを生成するリスク、信頼性のための標準化されたテストの欠如、AIの深い専門知識と開発期間の延長など、制限がある。 これらの問題により、チャットボットは選挙やヘルスケアといった信頼に敏感なアプリケーションには適さない。 これらの問題に対処するため,安全で信頼性の高いチャットボットを構築するための一般的なアーキテクチャであるSafeChatを導入し,情報検索のユースケースに着目した。 SafeChatの主な特徴は以下のとおりである。 (a)安全は、承認された情報源(証明)に対して応答を根拠としてトレース可能なドメインに依存しない設計であり、有害な回答を防ぐための「対応しない」戦略である。 ロ 利用者性、長期応答の自動抽出要約、発信源の追跡、及び感情等のチャットボットの行動を伝えるための自動信頼評価等 CSV駆動のワークフロー、自動テスト、さまざまなデバイスとの統合を含む、高速でスケーラブルな開発。 SafeChatをオープンソースのチャットボットプラットフォームであるRasaを使って実行可能なフレームワークとして実装しました。 ケーススタディでは、公式選挙情報を安全に広めるためのチャットボットであるElectronBot-SCの構築にその応用を実証している。 SafeChatは多くのドメインで使用されており、その可能性を検証しており、https://github.com/ai4society/trustworthy-chatbotで利用可能である。

関連論文リスト

• RICoTA: Red-teaming of In-the-wild Conversation with Test Attempts [6.0385743836962025]
  RICoTAは、大言語モデル(LLM)に挑戦する609のプロンプトで構成される、韓国のレッドチームデータセットである。 われわれは、韓国のRedditのようなコミュニティに自己投稿されたユーザー・チャットボットの会話を活用している。 データセットはGitHubから公開されます。
  論文  参考訳（メタデータ） (2025-01-29T15:32:27Z)
• Exploring and Mitigating Adversarial Manipulation of Voting-Based Leaderboards [93.16294577018482]
  このタイプの最も人気のあるベンチマークであるArenaは、ランダムに選択された2つのモデル間のより良いレスポンスを選択するようユーザに求めることで、モデルをランク付けする。 攻撃者は、約1000票の費用で、リーダーボードを変更できる(お気に入りのモデルを宣伝したり、ライバルを降格させる)。 私たちの攻撃は2つのステップで構成されている。まず、攻撃者が95%以上の精度で特定の応答を生成するためにどのモデルを使用したかを決定する方法を示し、次に、攻撃者はこの情報を使ってターゲットモデルに対して一貫して投票することができる。
  論文  参考訳（メタデータ） (2025-01-13T17:12:38Z)
• Seq2Seq Model-Based Chatbot with LSTM and Attention Mechanism for Enhanced User Interaction [1.937324318931008]
  本研究では、注意機構とLong Short-Term Memory(LSTM)セルを組み込んだエンコーダデコーダアーキテクチャを備えたSeq2Seqモデルを提案する。 提案されているSeq2Seqモデルベースのロボットは、モロッコのドラア・タフィラレ(Draa-Tafilalet)にある観光セクター向けのデータセットで訓練され、検証され、テストされている。
  論文  参考訳（メタデータ） (2024-12-27T23:50:54Z)
• WildChat: 1M ChatGPT Interaction Logs in the Wild [88.05964311416717]
  WildChatは100万件のユーザー・チャットGPT会話のコーパスで、250万回以上のインタラクション・ターンで構成されている。 タイムスタンプによるチャットの書き起こしに加えて、州、国、ハッシュIPアドレスを含む人口統計データでデータセットを豊かにします。
  論文  参考訳（メタデータ） (2024-05-02T17:00:02Z)
• MutaBot: A Mutation Testing Approach for Chatbots [3.811067614153878]
  MutaBotは、会話フロー、インテント、コンテキストを含む、複数のレベルでの突然変異に対処する。 ツールを3つのDialogflowチャットボットとBotiumで生成されたテストケースで評価し、テストスイートの弱点を明らかにする。
  論文  参考訳（メタデータ） (2024-01-18T20:38:27Z)
• Evaluating Chatbots to Promote Users' Trust -- Practices and Open Problems [11.427175278545517]
  本稿では,チャットボットのテスト実践について概説する。 ギャップをユーザ信頼の追求におけるオープンな問題として認識する。 サービスや製品のパフォーマンス、ユーザの満足度、社会に対する長期的意図しない結果に関する信頼の問題を緩和するための道筋を概説する。
  論文  参考訳（メタデータ） (2023-09-09T22:40:30Z)
• A Categorical Archive of ChatGPT Failures [47.64219291655723]
  OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
  論文  参考訳（メタデータ） (2023-02-06T04:21:59Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• CASS: Towards Building a Social-Support Chatbot for Online Health Community [67.45813419121603]
  CASSアーキテクチャは高度なニューラルネットワークアルゴリズムに基づいている。 ユーザーからの新たな入力を処理し、さまざまなレスポンスを生成することができる。 フォローアップフィールド実験により、CASSは感情的支援を求める個々のメンバーを支援するのに有用であることが証明された。
  論文  参考訳（メタデータ） (2021-01-04T05:52:03Z)
• Personalized Chatbot Trustworthiness Ratings [19.537492400265577]
  我々は、各問題に対する個別の格付けモジュールに依存するチャットボットのためのパーソナライズされた格付け手法を構想する。 この方法は、特定の信頼問題とは独立しており、集計手順にパラメトリックである。
  論文  参考訳（メタデータ） (2020-05-13T22:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。