論文の概要: Walking a Tightrope -- Evaluating Large Language Models in High-Risk
Domains
- arxiv url: http://arxiv.org/abs/2311.14966v1
- Date: Sat, 25 Nov 2023 08:58:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 22:47:01.336907
- Title: Walking a Tightrope -- Evaluating Large Language Models in High-Risk
Domains
- Title(参考訳): Tightropeのウォーキング - ハイリスクドメインにおける大規模言語モデルの評価
- Authors: Chia-Chien Hung, Wiem Ben Rim, Lindsay Frost, Lars Bruckner, Carolin
Lawrence
- Abstract要約: リスクの高いドメインは、正確で安全な応答を提供するために言語モデルを必要とするユニークな課題を提起する。
大規模言語モデル(LLM)が大成功を収めたにもかかわらず、ハイリスク領域でのそれらのパフォーマンスはいまだに不明である。
- 参考スコア(独自算出の注目度): 15.320563604087246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-risk domains pose unique challenges that require language models to
provide accurate and safe responses. Despite the great success of large
language models (LLMs), such as ChatGPT and its variants, their performance in
high-risk domains remains unclear. Our study delves into an in-depth analysis
of the performance of instruction-tuned LLMs, focusing on factual accuracy and
safety adherence. To comprehensively assess the capabilities of LLMs, we
conduct experiments on six NLP datasets including question answering and
summarization tasks within two high-risk domains: legal and medical. Further
qualitative analysis highlights the existing limitations inherent in current
LLMs when evaluating in high-risk domains. This underscores the essential
nature of not only improving LLM capabilities but also prioritizing the
refinement of domain-specific metrics, and embracing a more human-centric
approach to enhance safety and factual reliability. Our findings advance the
field toward the concerns of properly evaluating LLMs in high-risk domains,
aiming to steer the adaptability of LLMs in fulfilling societal obligations and
aligning with forthcoming regulations, such as the EU AI Act.
- Abstract(参考訳): 高リスクドメインは、正確で安全な応答を提供するために言語モデルを必要とするユニークな課題をもたらす。
ChatGPTなどの大規模言語モデル(LLM)の成功にもかかわらず、ハイリスク領域におけるパフォーマンスは依然として不明である。
本研究は, 実測精度と安全性に焦点をあてて, 指導調整LDMの性能の詳細な分析を行った。
llmsの能力を総合的に評価するために,質問応答や要約タスクを含む6つのnlpデータセットについて,法的および医学的2つのリスク領域で実験を行った。
さらに質的な分析は、リスクの高いドメインの評価において、現在のLLMに固有の既存の制限を強調している。
このことは、LLM能力の向上だけでなく、ドメイン固有のメトリクスの洗練を優先し、安全性と事実の信頼性を高めるためにより人間中心のアプローチを採用することの重要性を強調している。
本研究は、リスクの高い領域におけるLSMを適切に評価することの懸念に焦点をあて、社会的義務を履行し、EU AI法などの今後の規制と整合することを目的としている。
関連論文リスト
- A Chinese Dataset for Evaluating the Safeguards in Large Language Models [48.18098860396162]
大型言語モデル(LLM)は有害な応答を生み出す。
本稿では,中国のLLMの安全性評価のためのデータセットを提案する。
次に、偽陰性例と偽陽性例をよりよく識別するために使用できる他の2つのシナリオに拡張する。
論文 参考訳(メタデータ) (2024-02-19T14:56:18Z) - CPSDBench: A Large Language Model Evaluation Benchmark and Baseline for
Chinese Public Security Domain [23.126406158503684]
本研究は,中国の公安ドメインであるCPSDbenchに合わせた,特別な評価ベンチマークを構築することを目的とする。
CPSDbenchは、現実世界のシナリオから収集されたパブリックセキュリティに関連するデータセットを統合する。
本研究では,公共の安全に関わるタスクの実行において,LLMの有効性をより正確に定量化するための,革新的な評価指標を提案する。
論文 参考訳(メタデータ) (2024-02-11T15:56:03Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - A Survey of Language Model Confidence Estimation and Calibration [91.86126820036058]
言語モデル(LM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示してきた。
優れたパフォーマンスにもかかわらず、そのアウトプットの信頼性は、AIの安全性の要求に関係があり、疑わしい。
本稿では,LMの信頼度推定と校正のための手法と手法について論じる。
論文 参考訳(メタデータ) (2023-11-14T16:43:29Z) - Evaluating Large Language Models: A Comprehensive Survey [41.64914110226901]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な能力を示している。
プライベートなデータ漏洩に悩まされたり、不適切で有害なコンテンツや誤解を招く可能性がある。
LLMのキャパシティを効果的に活用し、その安全で有益な開発を確保するためには、厳密で包括的な評価を行うことが不可欠である。
論文 参考訳(メタデータ) (2023-10-30T17:00:52Z) - A Formalism and Approach for Improving Robustness of Large Language
Models Using Risk-Adjusted Confidence Scores [4.043005183192123]
大規模言語モデル(LLM)は自然言語処理(NLP)において驚くべきマイルストーンを達成した
優れた性能にもかかわらず、モデルには重要なリスクが伴うことが知られている。
意思決定リスクと複合リスクという,2つの異なるタイプのリスクを定義し,形式化する。
論文 参考訳(メタデータ) (2023-10-05T03:20:41Z) - CValues: Measuring the Values of Chinese Large Language Models from
Safety to Responsibility [62.74405775089802]
LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。
その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。
以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
論文 参考訳(メタデータ) (2023-07-19T01:22:40Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳(メタデータ) (2023-07-06T16:28:35Z) - Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。
安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文 参考訳(メタデータ) (2023-04-20T16:27:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。