論文の概要: Risks and NLP Design: A Case Study on Procedural Document QA

• arxiv url: http://arxiv.org/abs/2408.11860v1
• Date: Fri, 16 Aug 2024 17:23:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 18:26:17.302714
• Title: Risks and NLP Design: A Case Study on Procedural Document QA
• Title（参考訳）: リスクとNLP設計--手続き文書QAを事例として
• Authors: Nikita Haduong, Alice Gao, Noah A. Smith,
• Abstract要約: より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
• 参考スコア（独自算出の注目度）: 52.557503571760215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As NLP systems are increasingly deployed at scale, concerns about their potential negative impacts have attracted the attention of the research community, yet discussions of risk have mostly been at an abstract level and focused on generic AI or NLP applications. We argue that clearer assessments of risks and harms to users--and concrete strategies to mitigate them--will be possible when we specialize the analysis to more concrete applications and their plausible users. As an illustration, this paper is grounded in cooking recipe procedural document question answering (ProcDocQA), where there are well-defined risks to users such as injuries or allergic reactions. Our case study shows that an existing language model, applied in "zero-shot" mode, quantitatively answers real-world questions about recipes as well or better than the humans who have answered the questions on the web. Using a novel questionnaire informed by theoretical work on AI risk, we conduct a risk-oriented error analysis that could then inform the design of a future system to be deployed with lower risk of harm and better performance.
• Abstract（参考訳）: NLPシステムが大規模に展開されるにつれて、その潜在的なネガティブな影響に対する懸念が研究コミュニティの注目を集めているが、リスクに関する議論は主に抽象的なレベルで、汎用AIやNLPアプリケーションに焦点を当てている。 より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害に対する評価の明確化や,それらを緩和するための具体的な戦略の明確化が実現するのではないか,と私たちは主張する。 本論文は,創傷やアレルギー反応などのユーザに対して明確なリスクを負うプロシージャ文書質問応答法(ProcDocQA)を考案した。 ケーススタディでは、既存の言語モデルが「ゼロショット」モードで適用され、ウェブ上の質問に答えた人間よりもレシピに関する現実世界の質問に定量的に答えることが示されている。 AIリスクに関する理論的研究から得られた新しいアンケートを用いて、リスク指向のエラー分析を行い、リスクの低いリスクとより良いパフォーマンスでデプロイされる将来のシステムの設計を通知する。

関連論文リスト

• Privacy Risks of General-Purpose AI Systems: A Foundation for Investigating Practitioner Perspectives [47.17703009473386]
  強力なAIモデルによって、幅広いタスクでパフォーマンスが飛躍的に向上した。 プライバシの懸念は、さまざまなプライバシのリスクとAIモデルの脆弱性をカバーした、豊富な文献につながっている。 我々はこれらの調査論文の体系的なレビューを行い、GPAISにおけるプライバシーリスクの簡潔かつ有用な概観を提供する。
  論文  参考訳（メタデータ） (2024-07-02T07:49:48Z)
• GUARD-D-LLM: An LLM-Based Risk Assessment Engine for the Downstream uses of LLMs [0.0]
  本稿では,大規模言語モデル(LLM)の下流から発生するリスクについて検討する。 テキストベースのユーザ入力から派生した特定のユースケースに関連する脅威を特定し、ランク付けする新しいLCMベースのリスクアセスメントエンジン(GUARD-D-LLM)を導入する。 30の知的エージェントを統合することで、この革新的なアプローチは、悪夢のリスクを特定し、その重症度を測定し、緩和のためのターゲットとなる提案を提供し、リスク認識開発を促進する。
  論文  参考訳（メタデータ） (2024-04-02T05:25:17Z)
• Risk and Response in Large Language Models: Evaluating Key Threat Categories [6.436286493151731]
  本稿では,Large Language Models (LLMs) におけるリスクアセスメントのプレッシャーについて考察する。 人為的レッドチームデータセットを利用することで、情報ハザード、悪用、差別/憎しみのあるコンテンツなど、主要なリスクカテゴリを分析します。 以上の結果から,LSMは情報ハザードを有害とみなす傾向があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-22T06:46:40Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Eliciting Risk Aversion with Inverse Reinforcement Learning via Interactive Questioning [0.0]
  本稿では,対話型質問を用いたエージェントのリスク回避のための新しいフレームワークを提案する。 エージェントのリスク回避は、質問の数が無限大になる傾向があり、質問がランダムに設計されるため、特定できることを示す。 我々のフレームワークはロボアドバイスに重要な応用があり、エージェントのリスク嗜好を特定するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2023-08-16T15:17:57Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• TASRA: a Taxonomy and Analysis of Societal-Scale Risks from AI [11.240642213359267]
  多くの抜本的な分類が可能であり、特に新しいリスクや安全性への実践的なアプローチを明らかにする場合、有用であるものもある。 本稿では,リスクに繋がる行動,アクターは一体化されているか,意図的かという,説明責任に基づく分類について考察する。 また、AIシステムの予期せぬ相互作用から生じるリスクや、意図的に悪用されるリスクなど、さまざまなリスクタイプがどのように機能するかを説明する物語も提供しています。
  論文  参考訳（メタデータ） (2023-06-12T07:55:18Z)
• On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
  我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-05-03T18:47:42Z)
• Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey [50.58063811745676]
  この研究は、言語生成モデルから潜在的脅威や社会的害に対処するための実践的な方法の調査を提供する。 言語生成者のさまざまなリスク・ハームを検知・改善するための戦略の構造化された概要を提示するために、言語モデルリスクのいくつかの先行研究を取り上げる。
  論文  参考訳（メタデータ） (2022-10-14T10:43:39Z)
• Ethical and social risks of harm from Language Models [22.964941107198023]
  本稿では,大規模言語モデル(LM)に関連するリスクランドスケープの構築を支援することを目的とする。 コンピュータ科学、言語学、社会科学から多分野の専門知識と文献を参考に、幅広い確立と予測されたリスクが詳細に分析されている。
  論文  参考訳（メタデータ） (2021-12-08T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。