論文の概要: Eagle: Ethical Dataset Given from Real Interactions
- arxiv url: http://arxiv.org/abs/2402.14258v1
- Date: Thu, 22 Feb 2024 03:46:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 16:32:41.282758
- Title: Eagle: Ethical Dataset Given from Real Interactions
- Title(参考訳): Eagle: リアルインタラクションから得られる倫理的データセット
- Authors: Masahiro Kaneko, Danushka Bollegala, Timothy Baldwin
- Abstract要約: 社会的バイアス、毒性、不道徳な問題を示すChatGPTとユーザ間の実際のインタラクションから抽出されたデータセットを作成します。
我々の実験では、イーグルは、そのような倫理的課題の評価と緩和のために提案された既存のデータセットでカバーされていない相補的な側面を捉えている。
- 参考スコア(独自算出の注目度): 74.7319697510621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have demonstrated that large language models (LLMs) have
ethical-related problems such as social biases, lack of moral reasoning, and
generation of offensive content. The existing evaluation metrics and methods to
address these ethical challenges use datasets intentionally created by
instructing humans to create instances including ethical problems. Therefore,
the data does not reflect prompts that users actually provide when utilizing
LLM services in everyday contexts. This may not lead to the development of safe
LLMs that can address ethical challenges arising in real-world applications. In
this paper, we create Eagle datasets extracted from real interactions between
ChatGPT and users that exhibit social biases, toxicity, and immoral problems.
Our experiments show that Eagle captures complementary aspects, not covered by
existing datasets proposed for evaluation and mitigation of such ethical
challenges. Our code is publicly available at
https://huggingface.co/datasets/MasahiroKaneko/eagle.
- Abstract(参考訳): 近年の研究では、大規模言語モデル(llm)は社会的バイアス、道徳的推論の欠如、攻撃的コンテンツの生成といった倫理的な問題を引き起こすことが示されている。
これらの倫理的課題に対処する既存の評価指標と方法は、倫理的問題を含む事例を作成するよう人間に指示することで意図的に作成したデータセットを使用する。
したがって、データは、日常の文脈でLLMサービスを利用する際にユーザーが実際に提供するプロンプトを反映しない。
これは、現実世界のアプリケーションで生じる倫理的課題に対処できる安全なLLMの開発につながらない可能性がある。
本稿では,社会的バイアス,毒性,不道徳な問題を呈するChatGPTとユーザ間の実際のインタラクションから抽出したEagleデータセットを作成する。
我々の実験では、イーグルは、そのような倫理的課題の評価と緩和のために提案された既存のデータセットでカバーされていない相補的な側面を捉えている。
私たちのコードはhttps://huggingface.co/datasets/masahirokaneko/eagleで公開されています。
関連論文リスト
- How (un)ethical are instruction-centric responses of LLMs? Unveiling the
vulnerabilities of safety guardrails to harmful queries [5.120177239919689]
大型言語モデル(LLM)の安全性と倫理的利用に関する懸念が高まっている。
当社の作業は,特定の問題に対してゼロになっている – 命令中心の応答を生成するように要求することで,LLMをどの程度の頻度で誘導することが可能か,という点です。
論文 参考訳(メタデータ) (2024-02-23T13:03:12Z) - The Ethics of Interaction: Mitigating Security Threats in LLMs [1.5371340850225041]
この論文は、社会や個人のプライバシに対するこのようなセキュリティ上の脅威に対する、倫理的な悪影響について論じている。
我々は、迅速な注射、脱獄、個人識別情報(PII)露出、性的明示的なコンテンツ、ヘイトベースのコンテンツという5つの主要な脅威を精査する。
本稿は、LLMがもたらす倫理的問題だけでなく、これらのシステムへの信頼を育むための道のりも強調する。
論文 参考訳(メタデータ) (2024-01-22T17:11:37Z) - EALM: Introducing Multidimensional Ethical Alignment in Conversational
Information Retrieval [43.72331337131317]
我々は、倫理的アライメントを、効率的なデータスクリーニングのための初期倫理的判断段階と統合するワークフローを導入する。
本稿では,ETHICSベンチマークから適応したQA-ETHICSデータセットについて述べる。
さらに,二項および多ラベルの倫理的判断タスクにおいて,最高の性能を実現する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-02T08:22:34Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳(メタデータ) (2023-03-08T03:56:31Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z) - Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and
Toxicity [19.94836502156002]
大規模言語モデル(LLM)は社会的偏見と毒性を示し、無責任から生じる倫理的および社会的危険を呈する。
複数のサンプルデータセット上でChatGPTを実証的にベンチマークする。
既存のベンチマークでは、かなりの数の倫理的リスクに対処できないことが分かっています。
論文 参考訳(メタデータ) (2023-01-30T13:20:48Z) - Mitigating dataset harms requires stewardship: Lessons from 1000 papers [8.469320512479456]
約1000枚の論文を分析し,3つの影響力ある顔と人物の認識データセットについて検討した。
デリバティブデータセットとモデルの作成、より広範な技術と社会の変化、ライセンスの明確さの欠如、データセット管理プラクティスは、幅広い倫理的懸念をもたらす可能性がある。
論文 参考訳(メタデータ) (2021-08-06T02:52:36Z) - An Ethical Highlighter for People-Centric Dataset Creation [62.886916477131486]
本稿では,既存のデータセットの倫理的評価を導くための分析フレームワークを提案する。
我々の研究は、先行研究のレビューと分析によって知らされ、そのような倫理的課題が生じる場所を強調します。
論文 参考訳(メタデータ) (2020-11-27T07:18:44Z) - Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-Life
Anecdotes [72.64975113835018]
記述倫理に動機づけられた我々は、機械倫理に対する新しいデータ駆動アプローチを調査する。
Scruplesは、625,000の倫理的判断を持つ最初の大規模データセットで、32,000の実生活の逸話について紹介する。
我々のデータセットは最先端のニューラルネットワークモデルに対して大きな課題を示し、改善の余地を残しています。
論文 参考訳(メタデータ) (2020-08-20T17:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。