論文の概要: To Err is AI : A Case Study Informing LLM Flaw Reporting Practices

• arxiv url: http://arxiv.org/abs/2410.12104v1
• Date: Tue, 15 Oct 2024 23:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:45:00.702511
• Title: To Err is AI : A Case Study Informing LLM Flaw Reporting Practices
• Title（参考訳）: AIは正しいか? : LLM Flaw Reporting Practices を事例として
• Authors: Sean McGregor, Allyson Ettinger, Nick Judd, Paul Albee, Liwei Jiang, Kavel Rao, Will Smith, Shayne Longpre, Avijit Ghosh, Christopher Fiorelli, Michelle Hoang, Sven Cattell, Nouha Dziri,
• Abstract要約: 495人のハッカーが、AIのためのアレン研究所(Allen Institute for AI)のオープン言語モデル(OLMo)をターゲットにした、オープンエンドのバグ報奨金で評価を作成した。 本稿では,インシデントの可能性を減らすことを目的とした,欠陥報告のベストプラクティスについて,学習した教訓の集合体を提示する。
• 参考スコア（独自算出の注目度）: 16.496105857914536
• License:
• Abstract: In August of 2024, 495 hackers generated evaluations in an open-ended bug bounty targeting the Open Language Model (OLMo) from The Allen Institute for AI. A vendor panel staffed by representatives of OLMo's safety program adjudicated changes to OLMo's documentation and awarded cash bounties to participants who successfully demonstrated a need for public disclosure clarifying the intent, capacities, and hazards of model deployment. This paper presents a collection of lessons learned, illustrative of flaw reporting best practices intended to reduce the likelihood of incidents and produce safer large language models (LLMs). These include best practices for safety reporting processes, their artifacts, and safety program staffing.
• Abstract（参考訳）: 2024年8月、495人のハッカーがアレン・インスティチュート・フォー・AI(AI)のオープン言語モデル(OLMo)をターゲットにした、オープンエンドのバグ報奨金で評価を作成した。 OLMoの安全プログラムの代表者によるベンダーパネルは、OLMoのドキュメントの変更を指示し、公開開示の必要性を証明し、モデル展開の意図、能力、ハザードを明確にした参加者に賞金を支給した。 本稿では,インシデント発生の可能性を低減し,より安全な大言語モデル(LLM)を作成することを目的とした,欠陥報告のベストプラクティスについて,学習した教訓の集合を提示する。 これには、安全報告プロセスのベストプラクティス、アーティファクト、安全プログラムのスタッフリングが含まれる。

関連論文リスト

• The potential of LLM-generated reports in DevSecOps [3.4888132404740797]
  アラート疲労は、DevSecOpsパラダイムを使用してソフトウェアチームが直面する一般的な問題である。 本稿では,LCMが実用的なセキュリティレポートを生成する可能性について検討する。 DevSecOpsにこれらのレポートを統合することで、注意の飽和と警告疲労を軽減することができる。
  論文  参考訳（メタデータ） (2024-10-02T18:01:12Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Enhancing Large Language Models for Secure Code Generation: A Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
  大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。 本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
  論文  参考訳（メタデータ） (2023-10-25T00:32:56Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。