論文の概要: SafeText: A Benchmark for Exploring Physical Safety in Language Models

• arxiv url: http://arxiv.org/abs/2210.10045v1
• Date: Tue, 18 Oct 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:19:37.800126
• Title: SafeText: A Benchmark for Exploring Physical Safety in Language Models
• Title（参考訳）: SafeText: 言語モデルにおける物理的安全性のベンチマーク
• Authors: Sharon Levy, Emily Allaway, Melanie Subbiah, Lydia Chilton, Desmond Patton, Kathleen McKeown, William Yang Wang
• Abstract要約: テキスト生成およびコモンセンス推論タスク用に設計された各種モデルのコモンセンス物理安全性について検討する。 最先端の大規模言語モデルは、安全でないテキストの生成に影響を受けやすく、安全でないアドバイスを拒否するのが困難であることがわかった。
• 参考スコア（独自算出の注目度）: 62.810902375154136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding what constitutes safe text is an important issue in natural language processing and can often prevent the deployment of models deemed harmful and unsafe. One such type of safety that has been scarcely studied is commonsense physical safety, i.e. text that is not explicitly violent and requires additional commonsense knowledge to comprehend that it leads to physical harm. We create the first benchmark dataset, SafeText, comprising real-life scenarios with paired safe and physically unsafe pieces of advice. We utilize SafeText to empirically study commonsense physical safety across various models designed for text generation and commonsense reasoning tasks. We find that state-of-the-art large language models are susceptible to the generation of unsafe text and have difficulty rejecting unsafe advice. As a result, we argue for further studies of safety and the assessment of commonsense physical safety in models before release.
• Abstract（参考訳）: 安全なテキストを構成するものを理解することは、自然言語処理において重要な問題であり、しばしば有害で安全でないと見なされるモデルのデプロイを防ぐことができる。 あまり研究されていないこの種の安全性の1つは、明確に暴力的ではなく、物理的危害につながると理解するために追加のコモンセンス知識を必要とするテキストである。 私たちは最初のベンチマークデータセットであるsafetextを作成しました。 SafeTextを用いて、テキスト生成やコモンセンス推論タスクのために設計された様々なモデルのコモンセンス物理安全性を実証的に研究する。 最先端の大規模言語モデルは、安全でないテキストの生成に影響を受けやすく、安全でないアドバイスを拒否するのも困難である。 その結果、我々は、リリース前のモデルにおける安全性のさらなる研究とコモンセンス物理安全性の評価について議論した。

関連論文リスト

• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models [5.6874111521946356]
  安全に整合した言語モデルは、しばしば脆弱で不均衡な安全メカニズムを示す。 文脈適応型デコード型安全アライメント戦略であるSafeInferを提案する。 HarmEvalは、広範な安全性評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-06-18T05:03:23Z)
• Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations [19.132597762214722]
  現在のアライメント手法は、動的なユーザ意図と複雑な目的に苦しむ。 異なるシナリオにおける安全性を向上させるトレーニングフリーフレームワークであるSafety Arithmeticを提案する。 実験の結果,安全算術は安全対策を大幅に改善し,過度な安全性を低減し,モデルの有用性を維持できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T17:48:13Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Safe-CLIP: Removing NSFW Concepts from Vision-and-Language Models [42.19184265811366]
  本研究では,NSFW入力に対する感度を低下させることにより,視覚・言語モデルの安全性を高める新しいアプローチを提案する。 安全な文と安全でない文の変換を訓練した大規模言語モデルから得られた合成データに対して,CLIPモデルを微調整することで,これを実現できることを示す。
  論文  参考訳（メタデータ） (2023-11-27T19:02:17Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)
• Foveate, Attribute, and Rationalize: Towards Physically Safe and Trustworthy AI [76.28956947107372]
  包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。 安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。 実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
  論文  参考訳（メタデータ） (2022-12-19T17:51:47Z)
• Mitigating Covertly Unsafe Text within Natural Language Systems [55.26364166702625]
  制御されていないシステムは、怪我や致命的な結果につながるレコメンデーションを生成する。 本稿では,身体的危害につながる可能性のあるテキストのタイプを識別し,特に未発見のカテゴリを確立する。
  論文  参考訳（メタデータ） (2022-10-17T17:59:49Z)
• On the Safety of Conversational Models: Taxonomy, Dataset, and Benchmark [42.322782754346406]
  本研究では,人間とロボットの対話に特有の不安全行動の把握を目的とした対話安全のための分類法を提案する。 DiaSafetyは6つの安全でないカテゴリのデータセットで、リッチなコンテキストに敏感なアンセーフな例をコンパイルします。 実験により、既存の発話レベルの安全ツールが我々のデータセットで破滅的に失敗することが示された。
  論文  参考訳（メタデータ） (2021-10-16T04:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。