論文の概要: Eagle: Ethical Dataset Given from Real Interactions

• arxiv url: http://arxiv.org/abs/2402.14258v1
• Date: Thu, 22 Feb 2024 03:46:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 16:32:41.282758
• Title: Eagle: Ethical Dataset Given from Real Interactions
• Title（参考訳）: Eagle: リアルインタラクションから得られる倫理的データセット
• Authors: Masahiro Kaneko, Danushka Bollegala, Timothy Baldwin
• Abstract要約: 社会的バイアス、毒性、不道徳な問題を示すChatGPTとユーザ間の実際のインタラクションから抽出されたデータセットを作成します。 我々の実験では、イーグルは、そのような倫理的課題の評価と緩和のために提案された既存のデータセットでカバーされていない相補的な側面を捉えている。
• 参考スコア（独自算出の注目度）: 74.7319697510621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have demonstrated that large language models (LLMs) have ethical-related problems such as social biases, lack of moral reasoning, and generation of offensive content. The existing evaluation metrics and methods to address these ethical challenges use datasets intentionally created by instructing humans to create instances including ethical problems. Therefore, the data does not reflect prompts that users actually provide when utilizing LLM services in everyday contexts. This may not lead to the development of safe LLMs that can address ethical challenges arising in real-world applications. In this paper, we create Eagle datasets extracted from real interactions between ChatGPT and users that exhibit social biases, toxicity, and immoral problems. Our experiments show that Eagle captures complementary aspects, not covered by existing datasets proposed for evaluation and mitigation of such ethical challenges. Our code is publicly available at https://huggingface.co/datasets/MasahiroKaneko/eagle.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(llm)は社会的バイアス、道徳的推論の欠如、攻撃的コンテンツの生成といった倫理的な問題を引き起こすことが示されている。 これらの倫理的課題に対処する既存の評価指標と方法は、倫理的問題を含む事例を作成するよう人間に指示することで意図的に作成したデータセットを使用する。 したがって、データは、日常の文脈でLLMサービスを利用する際にユーザーが実際に提供するプロンプトを反映しない。 これは、現実世界のアプリケーションで生じる倫理的課題に対処できる安全なLLMの開発につながらない可能性がある。 本稿では,社会的バイアス,毒性,不道徳な問題を呈するChatGPTとユーザ間の実際のインタラクションから抽出したEagleデータセットを作成する。 我々の実験では、イーグルは、そのような倫理的課題の評価と緩和のために提案された既存のデータセットでカバーされていない相補的な側面を捉えている。 私たちのコードはhttps://huggingface.co/datasets/masahirokaneko/eagleで公開されています。

関連論文リスト

• The Only Way is Ethics: A Guide to Ethical Research with Large Language Models [53.316174782223115]
  LLM倫理白書(LLM Ethics Whitepaper)は、NLP実践者のオープンリソースであり、他人の仕事の倫理的意味を評価することを担当する。 私たちの目標は、倫理文学を明確な第一歩で考えるための具体的な勧告や挑発に翻訳することです。 LLM倫理白書」は、文献の徹底的なレビューを、ドとドナの明確な解釈に駆り立てたもので、本論文にも紹介する。
  論文  参考訳（メタデータ） (2024-12-20T16:14:43Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• Ethical-Lens: Curbing Malicious Usages of Open-Source Text-to-Image Models [51.69735366140249]
  我々はEthical-Lensというフレームワークを紹介した。 Ethical-Lensは、毒性とバイアス次元をまたいだテキストと画像のモデルにおける価値アライメントを保証する。 実験の結果、Ethical-Lensは商業モデルに匹敵するレベルまでアライメント能力を向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T11:38:25Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• The Ethics of ChatGPT in Medicine and Healthcare: A Systematic Review on Large Language Models (LLMs) [0.0]
  ChatGPT, Large Language Models (LLMs) は医療分野で大きな注目を集めている。 その潜在的な利点にもかかわらず、研究者は様々な倫理的影響を過小評価してきた。 本研究は, LLMの医療・医療への展開の現段階を取り巻く倫理的景観を地図化することを目的としている。
  論文  参考訳（メタデータ） (2024-03-21T15:20:07Z)
• The Ethics of Interaction: Mitigating Security Threats in LLMs [1.407080246204282]
  この論文は、社会や個人のプライバシに対するこのようなセキュリティ上の脅威に対する、倫理的な悪影響について論じている。 われわれは、プロンプト注入、ジェイルブレイク、個人識別情報(PII)露出、性的に明示的なコンテンツ、ヘイトベースのコンテンツという5つの主要な脅威を精査し、彼らの批判的な倫理的結果と、彼らが堅牢な戦略戦略のために作り出した緊急性を評価する。
  論文  参考訳（メタデータ） (2024-01-22T17:11:37Z)
• EALM: Introducing Multidimensional Ethical Alignment in Conversational Information Retrieval [43.72331337131317]
  我々は、倫理的アライメントを、効率的なデータスクリーニングのための初期倫理的判断段階と統合するワークフローを導入する。 本稿では,ETHICSベンチマークから適応したQA-ETHICSデータセットについて述べる。 さらに,二項および多ラベルの倫理的判断タスクにおいて,最高の性能を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T08:22:34Z)
• Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity [19.94836502156002]
  大規模言語モデル(LLM)は社会的偏見と毒性を示し、無責任から生じる倫理的および社会的危険を呈する。 複数のサンプルデータセット上でChatGPTを実証的にベンチマークする。 既存のベンチマークでは、かなりの数の倫理的リスクに対処できないことが分かっています。
  論文  参考訳（メタデータ） (2023-01-30T13:20:48Z)
• An Ethical Highlighter for People-Centric Dataset Creation [62.886916477131486]
  本稿では,既存のデータセットの倫理的評価を導くための分析フレームワークを提案する。 我々の研究は、先行研究のレビューと分析によって知らされ、そのような倫理的課題が生じる場所を強調します。
  論文  参考訳（メタデータ） (2020-11-27T07:18:44Z)
• Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-Life Anecdotes [72.64975113835018]
  記述倫理に動機づけられた我々は、機械倫理に対する新しいデータ駆動アプローチを調査する。 Scruplesは、625,000の倫理的判断を持つ最初の大規模データセットで、32,000の実生活の逸話について紹介する。 我々のデータセットは最先端のニューラルネットワークモデルに対して大きな課題を示し、改善の余地を残しています。
  論文  参考訳（メタデータ） (2020-08-20T17:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。