論文の概要: Ethical and social risks of harm from Language Models
- arxiv url: http://arxiv.org/abs/2112.04359v1
- Date: Wed, 8 Dec 2021 16:09:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 17:24:17.540578
- Title: Ethical and social risks of harm from Language Models
- Title(参考訳): 言語モデルによる危害の倫理的・社会的リスク
- Authors: Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan
Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh,
Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba
Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean
Legassick, Geoffrey Irving, Iason Gabriel
- Abstract要約: 本稿では,大規模言語モデル(LM)に関連するリスクランドスケープの構築を支援することを目的とする。
コンピュータ科学、言語学、社会科学から多分野の専門知識と文献を参考に、幅広い確立と予測されたリスクが詳細に分析されている。
- 参考スコア(独自算出の注目度): 22.964941107198023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper aims to help structure the risk landscape associated with
large-scale Language Models (LMs). In order to foster advances in responsible
innovation, an in-depth understanding of the potential risks posed by these
models is needed. A wide range of established and anticipated risks are
analysed in detail, drawing on multidisciplinary expertise and literature from
computer science, linguistics, and social sciences.
We outline six specific risk areas: I. Discrimination, Exclusion and
Toxicity, II. Information Hazards, III. Misinformation Harms, V. Malicious
Uses, V. Human-Computer Interaction Harms, VI. Automation, Access, and
Environmental Harms. The first area concerns the perpetuation of stereotypes,
unfair discrimination, exclusionary norms, toxic language, and lower
performance by social group for LMs. The second focuses on risks from private
data leaks or LMs correctly inferring sensitive information. The third
addresses risks arising from poor, false or misleading information including in
sensitive domains, and knock-on risks such as the erosion of trust in shared
information. The fourth considers risks from actors who try to use LMs to cause
harm. The fifth focuses on risks specific to LLMs used to underpin
conversational agents that interact with human users, including unsafe use,
manipulation or deception. The sixth discusses the risk of environmental harm,
job automation, and other challenges that may have a disparate effect on
different social groups or communities.
In total, we review 21 risks in-depth. We discuss the points of origin of
different risks and point to potential mitigation approaches. Lastly, we
discuss organisational responsibilities in implementing mitigations, and the
role of collaboration and participation. We highlight directions for further
research, particularly on expanding the toolkit for assessing and evaluating
the outlined risks in LMs.
- Abstract(参考訳): 本稿では,大規模言語モデル(LM)に関連するリスクランドスケープの構築を支援することを目的とする。
責任あるイノベーションの進歩を促進するためには、これらのモデルによって生じる潜在的なリスクを深く理解する必要がある。
コンピュータ科学、言語学、社会科学から学際的な専門知識と文学を描き出し、さまざまな確立されたリスクと予測されるリスクを詳細に分析する。
I.識別,排他,毒性の6つの特定リスク領域について概説する。
情報ハザード、III。
Misinformation Harms, V. Malicious Uses, V. Human-Computer Interaction Harms, VI
自動化、アクセス、環境被害。
第1の領域は、ステレオタイプ、不公平な差別、排他的規範、有害言語、およびLMの社会的グループによる低いパフォーマンスに関するものである。
2つ目は、機密情報を正しく推測するプライベートデータリークやLMからのリスクに焦点を当てている。
第3の問題は、機密ドメインを含む貧弱、虚偽、誤解を招く情報や、共有情報への信頼の侵食などのノックオンリスクから生じるリスクに対処する。
第4部では、lmsを危険にさらそうとする俳優のリスクについて考察する。
第5章では、安全でない使用、操作、詐欺など、人間のユーザと対話する会話エージェントの基盤となるLLMに特有のリスクに焦点を当てている。
第6章では、異なる社会グループやコミュニティに異なる影響を与える可能性のある環境被害、仕事の自動化、その他の課題のリスクについて論じている。
総じて21のリスクを詳細に検討する。
異なるリスクの起点を議論し,潜在的な緩和アプローチを指摘する。
最後に、緩和の実施における組織的責任と、コラボレーションと参加の役割について論じる。
今後の研究の方向性,特にlmsの概要リスクの評価・評価のためのツールキットの拡大について紹介する。
関連論文リスト
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning [88.26832208495078]
ホワイトハウス人工知能に関する大統領令は、生物、サイバー、化学兵器の開発において悪意あるアクターに力を与える大きな言語モデル(LLM)のリスクを強調している。
現在の評価は非公開であり、リスク軽減のさらなる研究を妨げている。
Weapons of Mass Destruction Proxyベンチマークを公開しています。
論文 参考訳(メタデータ) (2024-03-05T18:59:35Z) - A Chinese Dataset for Evaluating the Safeguards in Large Language Models [48.18098860396162]
大型言語モデル(LLM)は有害な応答を生み出す。
本稿では,中国のLLMの安全性評価のためのデータセットを提案する。
次に、偽陰性例と偽陽性例をよりよく識別するために使用できる他の2つのシナリオに拡張する。
論文 参考訳(メタデータ) (2024-02-19T14:56:18Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。
この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
論文 参考訳(メタデータ) (2024-01-29T17:16:57Z) - A Formalism and Approach for Improving Robustness of Large Language
Models Using Risk-Adjusted Confidence Scores [4.043005183192123]
大規模言語モデル(LLM)は自然言語処理(NLP)において驚くべきマイルストーンを達成した
優れた性能にもかかわらず、モデルには重要なリスクが伴うことが知られている。
意思決定リスクと複合リスクという,2つの異なるタイプのリスクを定義し,形式化する。
論文 参考訳(メタデータ) (2023-10-05T03:20:41Z) - Identifying and Mitigating Privacy Risks Stemming from Language Models:
A Survey [47.04394421368761]
言語モデル(LM)には、プライバシーなど、さまざまなリスクがある。
LMが普及するにつれて、このようなプライバシーのリスクと、どのように緩和されるかを理解することが不可欠である。
LMプライバシに関する最初の技術調査を示す。
論文 参考訳(メタデータ) (2023-09-27T15:15:23Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Foveate, Attribute, and Rationalize: Towards Physically Safe and
Trustworthy AI [76.28956947107372]
包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。
安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。
実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
論文 参考訳(メタデータ) (2022-12-19T17:51:47Z) - The Risks of Machine Learning Systems [11.105884571838818]
システム全体のリスクは、その直接的および間接的な影響に影響される。
MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。
1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。
論文 参考訳(メタデータ) (2022-04-21T02:42:10Z) - A Framework for Institutional Risk Identification using Knowledge Graphs
and Automated News Profiling [5.631924211771643]
世界中の組織は、世界中の運用に影響を与えるさまざまなリスクに直面しています。
リスクが生まれる前に潜在的なリスクを検知し、評価する、堅牢なリスク識別プロセスを持つことが不可欠である。
論文 参考訳(メタデータ) (2021-09-19T11:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。