論文の概要: Adding guardrails to advanced chatbots

• arxiv url: http://arxiv.org/abs/2306.07500v1
• Date: Tue, 13 Jun 2023 02:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 15:20:10.377691
• Title: Adding guardrails to advanced chatbots
• Title（参考訳）: 高度なチャットボットにguardrailsを追加
• Authors: Yanchen Wang, Lisa Singh
• Abstract要約: 2022年11月にChatGPTがローンチされ、AIの新しい時代が到来した。 さまざまな仕事のために、人間がチャットボットに取って代わられるのではないか、という懸念はすでにある。 これらのバイアスは、異なるサブポピュレーションに対して重大な害および/または不平等を引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 5.203329540700177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI models continue to become more powerful. The launch of ChatGPT in November 2022 has ushered in a new era of AI. ChatGPT and other similar chatbots have a range of capabilities, from answering student homework questions to creating music and art. There are already concerns that humans may be replaced by chatbots for a variety of jobs. Because of the wide spectrum of data chatbots are built on, we know that they will have human errors and human biases built into them. These biases may cause significant harm and/or inequity toward different subpopulations. To understand the strengths and weakness of chatbot responses, we present a position paper that explores different use cases of ChatGPT to determine the types of questions that are answered fairly and the types that still need improvement. We find that ChatGPT is a fair search engine for the tasks we tested; however, it has biases on both text generation and code generation. We find that ChatGPT is very sensitive to changes in the prompt, where small changes lead to different levels of fairness. This suggests that we need to immediately implement "corrections" or mitigation strategies in order to improve fairness of these systems. We suggest different strategies to improve chatbots and also advocate for an impartial review panel that has access to the model parameters to measure the levels of different types of biases and then recommends safeguards that move toward responses that are less discriminatory and more accurate.
• Abstract（参考訳）: 生成AIモデルは、引き続き強力である。 2022年11月のChatGPTのローンチは、AIの新しい時代を後押しした。 ChatGPTや同様のチャットボットは、学生の宿題の質問に答えたり、音楽やアートを作ったりできる。 すでに、人間がさまざまな仕事のためにチャットボットに置き換えられるのではないかという懸念がある。 さまざまなデータチャットボットが構築されているため、人間のエラーや人間のバイアスが組み込まれていることが分かっています。 これらのバイアスは、異なるサブポピュレーションに対して重大な害および/または不平等を引き起こす可能性がある。 チャットボット応答の長所と短所を理解するために,ChatGPTの異なる利用事例を探索し,回答する質問の種類と改善が必要な質問の種類を判定する位置紙を提案する。 ChatGPTは私たちがテストしたタスクのための公正な検索エンジンであることがわかったが、テキスト生成とコード生成の両方に偏っている。 ChatGPTは、小さな変化がフェアネスのレベルの違いにつながるプロンプトの変化に非常に敏感であることがわかった。 これは、これらのシステムの公平性を改善するために、直ちに「修正」または緩和戦略を実装する必要があることを示唆している。 我々はチャットボットを改善するための異なる戦略を提案し、またモデルのパラメーターにアクセスして異なる種類のバイアスのレベルを測定し、より差別的で正確である応答に向かうセーフガードを推奨する公平なレビューパネルを提唱する。

関連論文リスト

• First-Person Fairness in Chatbots [13.787745105316043]
  ユーザに対する公平さを意味する「ファースト・パーソナライズ・フェアネス」について検討する。 これには、アイデンティティやバックグラウンドに関わらず、すべてのユーザに高品質なレスポンスを提供することが含まれる。 本稿では,一人称フェアネスの1つの側面を評価するための,スケーラブルなプライバシ保護手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T17:59:47Z)
• In Generative AI we Trust: Can Chatbots Effectively Verify Political Information? [39.58317527488534]
  本稿では,2つの大規模言語モデル(LLM)ベースのチャットボットであるChatGPTとBing Chatの比較分析を行い,政治的情報の正確性を検出する。 AI監査手法を使用して、新型コロナウイルス、ロシアによるウクライナに対する攻撃、ホロコースト、気候変動、LGBTQ+関連の議論の5つのトピックについて、チャットボットが真、偽、および境界線をどう評価するかを調査する。 その結果, ベースライン精度評価タスクにおけるChatGPTの性能が向上し, 72%のケースが事前学習なしで言語平均で正しく評価された。
  論文  参考訳（メタデータ） (2023-12-20T15:17:03Z)
• Primacy Effect of ChatGPT [69.49920102917598]
  本稿では,ChatGPTの優位性について検討する。 実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
  論文  参考訳（メタデータ） (2023-10-20T00:37:28Z)
• Bias and Fairness in Chatbots: An Overview [38.21995125571103]
  現代のチャットボットはより強力で、現実世界のアプリケーションで使われてきた。 膨大なトレーニングデータ、非常に大きなモデルサイズ、解釈可能性の欠如、バイアス緩和、公正保存は困難である。
  論文  参考訳（メタデータ） (2023-09-16T02:01:18Z)
• Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
  曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。 回答は記録され、議論され、その強みと弱点を強調します。 その結果,ChatGPT-4はChatGPT-3.5より優れていた。
  論文  参考訳（メタデータ） (2023-05-30T11:18:05Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Let's have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations [0.0]
  Chat Generative Pre-trained Transformerは、ChatGPTとしてよく知られたもので、人間に似た文を生成し、一貫性のあるエッセイを書くことができる。 医療、教育、研究など様々な分野におけるChatGPTの応用の可能性を強調した。 有望な結果にもかかわらず、ChatGPTにはいくつかのプライバシーと倫理上の懸念がある。
  論文  参考訳（メタデータ） (2023-02-27T14:26:29Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• A Categorical Archive of ChatGPT Failures [47.64219291655723]
  OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
  論文  参考訳（メタデータ） (2023-02-06T04:21:59Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。