論文の概要: Understanding and Mitigating Risks of Generative AI in Financial Services

• arxiv url: http://arxiv.org/abs/2504.20086v1
• Date: Fri, 25 Apr 2025 16:55:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.573341
• Title: Understanding and Mitigating Risks of Generative AI in Financial Services
• Title（参考訳）: 金融サービスにおける生成AIのリスクの理解と緩和
• Authors: Sebastian Gehrmann, Claire Huang, Xian Teng, Sergei Yurovski, Iyanuoluwa Shode, Chirag S. Patel, Arjun Bhorkar, Naveen Thomas, John Doucette, David Rosenberg, Mark Dredze, David Rabinowitz,
• Abstract要約: 我々は、金融サービスドメインに特有のAIコンテンツ安全性の考察を強調し、関連するAIコンテンツリスク分類を概説することを目指している。 我々は,既存のオープンソース技術ガードレールソリューションがこの分類をレッドチーム活動を通じて収集されたデータに基づいて評価することによってどのようにカバーするかを評価する。
• 参考スコア（独自算出の注目度）: 22.673239064487667
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: To responsibly develop Generative AI (GenAI) products, it is critical to define the scope of acceptable inputs and outputs. What constitutes a "safe" response is an actively debated question. Academic work puts an outsized focus on evaluating models by themselves for general purpose aspects such as toxicity, bias, and fairness, especially in conversational applications being used by a broad audience. In contrast, less focus is put on considering sociotechnical systems in specialized domains. Yet, those specialized systems can be subject to extensive and well-understood legal and regulatory scrutiny. These product-specific considerations need to be set in industry-specific laws, regulations, and corporate governance requirements. In this paper, we aim to highlight AI content safety considerations specific to the financial services domain and outline an associated AI content risk taxonomy. We compare this taxonomy to existing work in this space and discuss implications of risk category violations on various stakeholders. We evaluate how existing open-source technical guardrail solutions cover this taxonomy by assessing them on data collected via red-teaming activities. Our results demonstrate that these guardrails fail to detect most of the content risks we discuss.
• Abstract（参考訳）: ジェネレーティブAI(GenAI)製品の開発に責任を負うためには、許容できる入力と出力の範囲を定義することが重要である。 安全な"応答を構成するものは、活発に議論されている質問である。 学術的な研究は、毒性、偏見、公平さといった汎用的な側面、特に広範囲の聴衆が使用している会話型アプリケーションにおいて、モデルを評価することに集中している。 対照的に、専門分野の社会技術システムを考えると、あまり注目されない。 しかし、これらの専門的なシステムは、広範囲でよく理解された法と規制の精査の対象となりうる。 これらの製品固有の考慮事項は、業界固有の法律、規制、および企業のガバナンス要件に設定する必要がある。 本稿では、金融サービス分野特有のAIコンテンツ安全性の考察を強調し、関連するAIコンテンツリスク分類を概説する。 この分類法をこの分野における既存の作業と比較し,様々な利害関係者に対するリスクカテゴリ違反の影響について論じる。 我々は,既存のオープンソース技術ガードレールソリューションがこの分類をレッドチーム活動を通じて収集されたデータに基づいて評価することによってどのようにカバーするかを評価する。 以上の結果から,これらのガードレールは,私たちが議論しているコンテンツリスクの大部分を検出できないことが明らかとなった。

関連論文リスト

• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• Human services organizations and the responsible integration of AI: Considering ethics and contextualizing risk(s) [0.0]
  著者らは、AIデプロイメントに関する倫理的懸念は、実装コンテキストや特定のユースケースによって大きく異なると主張している。 彼らは、データ感度、専門的な監視要件、クライアントの幸福に対する潜在的影響などの要因を考慮に入れた、次元的リスクアセスメントアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-20T19:38:21Z)
• Position: A taxonomy for reporting and describing AI security incidents [57.98317583163334]
  AIシステムのセキュリティインシデントを記述し報告するためには、具体的が必要である、と我々は主張する。 非AIセキュリティまたは汎用AI安全インシデントレポートの既存のフレームワークは、AIセキュリティの特定の特性をキャプチャするには不十分である。
  論文  参考訳（メタデータ） (2024-12-19T13:50:26Z)
• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• Privacy Risks of General-Purpose AI Systems: A Foundation for Investigating Practitioner Perspectives [47.17703009473386]
  強力なAIモデルによって、幅広いタスクでパフォーマンスが飛躍的に向上した。 プライバシの懸念は、さまざまなプライバシのリスクとAIモデルの脆弱性をカバーした、豊富な文献につながっている。 我々はこれらの調査論文の体系的なレビューを行い、GPAISにおけるプライバシーリスクの簡潔かつ有用な概観を提供する。
  論文  参考訳（メタデータ） (2024-07-02T07:49:48Z)
• The AI Revolution: Opportunities and Challenges for the Finance Sector [12.486180180030964]
  金融セクターにおけるAIの応用は、業界を変えつつある。 しかしながら、これらのメリットに加えて、AIはいくつかの課題も提示する。 これには透明性、解釈可能性、公正性、説明責任、信頼性に関する問題が含まれる。 金融セクターにおけるAIの使用は、データプライバシとセキュリティに関する重要な疑問をさらに引き起こす。 このニーズをグローバルに認識しているにもかかわらず、金融におけるAIの使用に関する明確なガイドラインや法律はいまだに存在しない。
  論文  参考訳（メタデータ） (2023-08-31T08:30:09Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。