論文の概要: Foveate, Attribute, and Rationalize: Towards Physically Safe and Trustworthy AI

• arxiv url: http://arxiv.org/abs/2212.09667v2
• Date: Fri, 19 May 2023 05:19:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 19:25:23.562135
• Title: Foveate, Attribute, and Rationalize: Towards Physically Safe and Trustworthy AI
• Title（参考訳）: foveate, attribute, and rationalize: 物理的に安全で信頼できるaiに向けて
• Authors: Alex Mei, Sharon Levy, William Yang Wang
• Abstract要約: 包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。 安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。 実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
• 参考スコア（独自算出の注目度）: 76.28956947107372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Users' physical safety is an increasing concern as the market for intelligent systems continues to grow, where unconstrained systems may recommend users dangerous actions that can lead to serious injury. Covertly unsafe text is an area of particular interest, as such text may arise from everyday scenarios and are challenging to detect as harmful. We propose FARM, a novel framework leveraging external knowledge for trustworthy rationale generation in the context of safety. In particular, FARM foveates on missing knowledge to qualify the information required to reason in specific scenarios and retrieves this information with attribution to trustworthy sources. This knowledge is used to both classify the safety of the original text and generate human-interpretable rationales, shedding light on the risk of systems to specific user groups and helping both stakeholders manage the risks of their systems and policymakers to provide concrete safeguards for consumer safety. Our experiments show that FARM obtains state-of-the-art results on the SafeText dataset, showing absolute improvement in safety classification accuracy by 5.9%.
• Abstract（参考訳）: 知的システムの市場が成長を続けるにつれ、ユーザの身体的安全が懸念されるようになり、制約のないシステムは、深刻な怪我につながる危険なアクションをユーザに推奨する可能性がある。 包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。 安全の観点から、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。 特にファームは、特定のシナリオにおいて推論に必要な情報を取得するための知識の欠如に焦点をあて、信頼できる情報源への帰属とともにこの情報を取得する。 この知識は、原文の安全性を分類し、人間の解釈可能な合理性を生成すると同時に、特定のユーザーグループに対するシステムのリスクを隠蔽し、利害関係者がシステムや政策立案者のリスクを管理し、消費者の安全のための具体的な保護を提供する手助けをする。 実験の結果,FARMはSafeTextデータセットの最先端結果を取得し,安全性の分類精度を5.9%向上した。

関連論文リスト

• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• Breach By A Thousand Leaks: Unsafe Information Leakage in `Safe' AI Responses [42.136793654338106]
  モデル出力の不可避な情報漏洩に基づく新しい安全性評価フレームワークを提案する。 我々は,情報検閲の安全性を確保するために,防衛機構が情報検閲を確実にする必要があることを示す。
  論文  参考訳（メタデータ） (2024-07-02T16:19:25Z)
• Cross-Modality Safety Alignment [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Towards Comprehensive and Efficient Post Safety Alignment of Large Language Models via Safety Patching [77.36097118561057]
  textscSafePatchingは包括的で効率的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的で効率的なPSAを実現する。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Mitigating Covertly Unsafe Text within Natural Language Systems [55.26364166702625]
  制御されていないシステムは、怪我や致命的な結果につながるレコメンデーションを生成する。 本稿では,身体的危害につながる可能性のあるテキストのタイプを識別し,特に未発見のカテゴリを確立する。
  論文  参考訳（メタデータ） (2022-10-17T17:59:49Z)
• Towards a Responsible AI Development Lifecycle: Lessons From Information Security [0.0]
  本稿では,人工知能システムを開発するためのフレームワークを提案する。 特に,脅威モデリング,設計レビュー,浸透試験,インシデント応答の概念を活用することを提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:03:58Z)
• SoK: A Framework for Unifying At-Risk User Research [18.216554583064063]
  リスクの高いユーザは,ディジタルセキュリティやプライバシ,安全上の脅威を経験する人たちです。 本稿では,85論文の多岐にわたるメタ分析に基づいて,リスクの高いユーザを推論する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T22:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。