論文の概要: Appropriateness is all you need!
- arxiv url: http://arxiv.org/abs/2304.14553v1
- Date: Thu, 27 Apr 2023 22:21:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 15:47:54.917360
- Title: Appropriateness is all you need!
- Title（参考訳）: 必要なのは 適性だけだ!
- Authors: Hendrik Kempt, Alon Lavie, Saskia K. Nagel
- Abstract要約: AIアプリケーションを"安全"にしようとする試みは、許容可能な使用に対する主要なあるいは唯一の規範的要件として、安全対策の開発につながった。
このアプローチは、私たちが"セーフティ・ノルマティビティ"と呼んでいるもので、チャットGPTがこれまでに引き起こした課題の解決に限られています。
- 参考スコア（独自算出の注目度）: 0.12891210250935148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The strive to make AI applications "safe" has led to the development of
safety-measures as the main or even sole normative requirement of their
permissible use. Similar can be attested to the latest version of chatbots,
such as chatGPT. In this view, if they are "safe", they are supposed to be
permissible to deploy. This approach, which we call "safety-normativity", is
rather limited in solving the emerging issues that chatGPT and other chatbots
have caused thus far. In answering this limitation, in this paper we argue for
limiting chatbots in the range of topics they can chat about according to the
normative concept of appropriateness. We argue that rather than looking for
"safety" in a chatbot's utterances to determine what they may and may not say,
we ought to assess those utterances according to three forms of
appropriateness: technical-discursive, social, and moral. We then spell out
what requirements for chatbots follow from these forms of appropriateness to
avoid the limits of previous accounts: positionality, acceptability, and value
alignment (PAVA). With these in mind, we may be able to determine what a
chatbot may and may not say. Lastly, one initial suggestion is to use challenge
sets, specifically designed for appropriateness, as a validation method.
- Abstract（参考訳）: aiアプリケーションを"安全"にしようとする取り組みは、許容される使用のメインまたは唯一の標準要件として、安全度測定の開発につながった。
チャットGPTのような最新バージョンのチャットボットも同様に検証することができる。
この考え方では、もしそれらが"安全"なら、デプロイは許容されるはずである。
と呼ぶこのアプローチは、チャットgptや他のチャットボットがこれまで引き起こしてきた新たな問題を解決する上で、かなり限定的です。
この制限に対処するため,本稿では,チャットボットが会話できる話題の範囲内で,適切性という規範的な概念に従って制限されることを論じる。
我々は、チャットボットの発話に「安全」を求めるのではなく、その発話を技術的不適切な、社会的、道徳的の3つの形式に従って評価すべきであると主張している。
次に、従来のアカウントの制限を避けるために、チャットボットがどのような要件に従うか、すなわち、位置性、受け入れ可能性、価値アライメント(PAVA)を記述します。
これらのことを念頭に置いて、チャットボットが何を言おうとしないかを判断できるかもしれない。
最後に、最初の提案は、検証方法として、特に適切性のために設計されたチャレンジセットを使用することである。
関連論文リスト
- Exploring and Mitigating Adversarial Manipulation of Voting-Based Leaderboards [93.16294577018482]
このタイプの最も人気のあるベンチマークであるArenaは、ランダムに選択された2つのモデル間のより良いレスポンスを選択するようユーザに求めることで、モデルをランク付けする。
攻撃者は、約1000票の費用で、リーダーボードを変更できる(お気に入りのモデルを宣伝したり、ライバルを降格させる)。
私たちの攻撃は2つのステップで構成されている。まず、攻撃者が95%以上の精度で特定の応答を生成するためにどのモデルを使用したかを決定する方法を示し、次に、攻撃者はこの情報を使ってターゲットモデルに対して一貫して投票することができる。
論文 参考訳（メタデータ） (2025-01-13T17:12:38Z) - RV4Chatbot: Are Chatbots Allowed to Dream of Electric Sheep? [0.0]
本稿では,チャットボットの振る舞いの偏りを監視するための検証フレームワークであるRV4Chatbotを紹介する。
ユーザとチャットボット間のインタラクションとして,期待される動作を形式化する。
本稿では, RV4Chatbotの設計と, RV4Rasa と RV4Dialogflow の2つの実装について述べる。
論文 参考訳（メタデータ） (2024-11-21T18:07:46Z) - Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。
本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。
我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。
そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T20:10:29Z) - Chatbots put to the test in math and logic problems: A preliminary
comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。
回答は記録され、議論され、その強みと弱点を強調します。
その結果,ChatGPT-4はChatGPT-3.5より優れていた。
論文 参考訳（メタデータ） (2023-05-30T11:18:05Z) - Towards Healthy AI: Large Language Models Need Therapists Too [41.86344997530743]
私たちはHealthy AIを安全で信頼性があり倫理的であると定義しています。
本稿では,これらの有害行動の修正に心理療法を用いるセーフガードGPTフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-02T00:39:12Z) - CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement
Learning [60.348822346249854]
本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。
チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。
共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
論文 参考訳（メタデータ） (2021-10-08T07:44:47Z) - Assessing Political Prudence of Open-domain Chatbots [36.07912225791336]
責任ある、非党派的で安全な行動方法で政治的に敏感なコンテンツを扱うことは、オープンドメインチャットボットにとって不可欠である。
現在、政治的感受性を扱う主なアプローチは、そのようなトピックが検出されたときに単に変更することである。
政治の熟達度を評価するための指標のグループを提案する。
論文 参考訳（メタデータ） (2021-06-11T04:03:53Z) - Addressing Inquiries about History: An Efficient and Practical Framework
for Evaluating Open-domain Chatbot Consistency [28.255324166852535]
整合性評価のためのAIH(Addressing Inquiries about History)フレームワークを提案する。
会話の段階では、AIHは対話履歴に関する適切な質問に対処し、チャットボットに歴史的な事実や意見を再宣言する。
矛盾認識段階では、人間の判断または自然言語推論(NLI)モデルを用いて、質問に対する回答が歴史と矛盾しているかどうかを認識することができる。
論文 参考訳（メタデータ） (2021-06-04T03:04:13Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳（メタデータ） (2021-03-30T15:24:37Z) - Spot The Bot: A Robust and Efficient Framework for the Evaluation of
Conversational Dialogue Systems [21.36935947626793]
emphSpot ボットは人間とボットの会話をボット間の会話に置き換える。
人間の判断は、それが人間であるかどうかに関わらず、会話において各実体に注釈を付けるだけである。
emphSurvival Analysisは、人間のような行動を最も長く維持できるボットを計測する。
論文 参考訳（メタデータ） (2020-10-05T16:37:52Z) - Personalized Chatbot Trustworthiness Ratings [19.537492400265577]
我々は、各問題に対する個別の格付けモジュールに依存するチャットボットのためのパーソナライズされた格付け手法を構想する。
この方法は、特定の信頼問題とは独立しており、集計手順にパラメトリックである。
論文 参考訳（メタデータ） (2020-05-13T22:42:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。