論文の概要: Walking a Tightrope -- Evaluating Large Language Models in High-Risk Domains

• arxiv url: http://arxiv.org/abs/2311.14966v1
• Date: Sat, 25 Nov 2023 08:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 22:47:01.336907
• Title: Walking a Tightrope -- Evaluating Large Language Models in High-Risk Domains
• Title（参考訳）: Tightropeのウォーキング - ハイリスクドメインにおける大規模言語モデルの評価
• Authors: Chia-Chien Hung, Wiem Ben Rim, Lindsay Frost, Lars Bruckner, Carolin Lawrence
• Abstract要約: リスクの高いドメインは、正確で安全な応答を提供するために言語モデルを必要とするユニークな課題を提起する。 大規模言語モデル(LLM)が大成功を収めたにもかかわらず、ハイリスク領域でのそれらのパフォーマンスはいまだに不明である。
• 参考スコア（独自算出の注目度）: 15.320563604087246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-risk domains pose unique challenges that require language models to provide accurate and safe responses. Despite the great success of large language models (LLMs), such as ChatGPT and its variants, their performance in high-risk domains remains unclear. Our study delves into an in-depth analysis of the performance of instruction-tuned LLMs, focusing on factual accuracy and safety adherence. To comprehensively assess the capabilities of LLMs, we conduct experiments on six NLP datasets including question answering and summarization tasks within two high-risk domains: legal and medical. Further qualitative analysis highlights the existing limitations inherent in current LLMs when evaluating in high-risk domains. This underscores the essential nature of not only improving LLM capabilities but also prioritizing the refinement of domain-specific metrics, and embracing a more human-centric approach to enhance safety and factual reliability. Our findings advance the field toward the concerns of properly evaluating LLMs in high-risk domains, aiming to steer the adaptability of LLMs in fulfilling societal obligations and aligning with forthcoming regulations, such as the EU AI Act.
• Abstract（参考訳）: 高リスクドメインは、正確で安全な応答を提供するために言語モデルを必要とするユニークな課題をもたらす。 ChatGPTなどの大規模言語モデル(LLM)の成功にもかかわらず、ハイリスク領域におけるパフォーマンスは依然として不明である。 本研究は, 実測精度と安全性に焦点をあてて, 指導調整LDMの性能の詳細な分析を行った。 llmsの能力を総合的に評価するために,質問応答や要約タスクを含む6つのnlpデータセットについて,法的および医学的2つのリスク領域で実験を行った。 さらに質的な分析は、リスクの高いドメインの評価において、現在のLLMに固有の既存の制限を強調している。 このことは、LLM能力の向上だけでなく、ドメイン固有のメトリクスの洗練を優先し、安全性と事実の信頼性を高めるためにより人間中心のアプローチを採用することの重要性を強調している。 本研究は、リスクの高い領域におけるLSMを適切に評価することの懸念に焦点をあて、社会的義務を履行し、EU AI法などの今後の規制と整合することを目的としている。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Current state of LLM Risks and AI Guardrails [0.0]
  大規模言語モデル(LLM)はますます洗練され、安全性と信頼性が最優先されるセンシティブなアプリケーションに広くデプロイされるようになる。 これらのリスクは、LSMを望ましい行動と整合させ、潜在的な害を軽減するために、"ガードレール"の開発を必要とする。 本研究は,LLMの展開に伴うリスクを調査し,ガードレールの実装とモデルアライメント技術に対する現在のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-06-16T22:04:10Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)
• A Formalism and Approach for Improving Robustness of Large Language Models Using Risk-Adjusted Confidence Scores [4.043005183192123]
  大規模言語モデル(LLM)は自然言語処理(NLP)において驚くべきマイルストーンを達成した 優れた性能にもかかわらず、モデルには重要なリスクが伴うことが知られている。 意思決定リスクと複合リスクという,2つの異なるタイプのリスクを定義し,形式化する。
  論文  参考訳（メタデータ） (2023-10-05T03:20:41Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。