論文の概要: RiskRAG: A Data-Driven Solution for Improved AI Model Risk Reporting

• arxiv url: http://arxiv.org/abs/2504.08952v1
• Date: Fri, 11 Apr 2025 20:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:20.747471
• Title: RiskRAG: A Data-Driven Solution for Improved AI Model Risk Reporting
• Title（参考訳）: RiskRAG: 改善されたAIモデルリスクレポートのためのデータ駆動ソリューション
• Authors: Pooja S. B. Rao, Sanja Šćepanović, Ke Zhou, Edyta Paulina Bogucka, Daniele Quercia,
• Abstract要約: モデルカードのわずか14%がリスクについて言及しており、そのうち96%が小さなカードからコンテンツをコピーしている。 RiskRAGはRetrieval Augmented Generationベースのリスクレポートソリューションで、5つの設計要件がガイドされている。 RiskRAGは450Kのモデルカードと600の現実世界のインシデントから作成され、コンテキスト化されたリスクレポートをプリポレートする。
• 参考スコア（独自算出の注目度）: 4.375071270418409
• License:
• Abstract: Risk reporting is essential for documenting AI models, yet only 14% of model cards mention risks, out of which 96% copying content from a small set of cards, leading to a lack of actionable insights. Existing proposals for improving model cards do not resolve these issues. To address this, we introduce RiskRAG, a Retrieval Augmented Generation based risk reporting solution guided by five design requirements we identified from literature, and co-design with 16 developers: identifying diverse model-specific risks, clearly presenting and prioritizing them, contextualizing for real-world uses, and offering actionable mitigation strategies. Drawing from 450K model cards and 600 real-world incidents, RiskRAG pre-populates contextualized risk reports. A preliminary study with 50 developers showed that they preferred RiskRAG over standard model cards, as it better met all the design requirements. A final study with 38 developers, 40 designers, and 37 media professionals showed that RiskRAG improved their way of selecting the AI model for a specific application, encouraging a more careful and deliberative decision-making. The RiskRAG project page is accessible at: https://social-dynamics.net/ai-risks/card.
• Abstract（参考訳）: リスクレポートはAIモデルの文書化に不可欠だが、リスクについて言及しているのはモデルカードの14%に過ぎず、そのうち96%が小さなカードからコンテンツをコピーしている。 モデルカードを改善するための既存の提案は、これらの問題を解決するものではない。 この問題を解決するために、我々はRetrieval Augmented GenerationベースのリスクレポートソリューションであるRetrieval Augmented Generationを紹介し、文献から特定した5つの設計要件によってガイドされ、16人の開発者と共同設計した。 RiskRAGは450Kのモデルカードと600の現実世界のインシデントから作成され、コンテキスト化されたリスクレポートをプリポレートする。 50人の開発者による予備的な調査では、標準モデルカードよりもR RiskRAGが好まれていた。 38人の開発者、40人のデザイナ、37人のメディアプロフェッショナルによる最終研究は、R RiskRAGが特定のアプリケーションに対してAIモデルを選択する方法を改善し、より慎重で熟考的な意思決定を促すことを示した。 RiskRAGのプロジェクトページは、https://social-dynamics.net/ai-risks/card.comでアクセスできます。

関連論文リスト

• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• CRiskEval: A Chinese Multi-Level Risk Evaluation Benchmark Dataset for Large Language Models [46.93425758722059]
  CRiskEvalは、大規模言語モデル(LLM)に固有のリスク確率を正確に計測するために設計された中国のデータセットである。 7種類のフロンティアリスクと4つの安全性レベルを持つ新たなリスク分類を定義する。 データセットは、事前に定義された7種類のフロンティアリスクに関連するシナリオをシミュレートする14,888の質問で構成されている。
  論文  参考訳（メタデータ） (2024-06-07T08:52:24Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• Modeling Risk in Reinforcement Learning: A Literature Mapping [0.0]
  我々は,安全RLのリスクを特徴付けるために,系統的な文献マッピングを行う。 得られた結果に基づいて、複数のアプリケーションドメインにまたがるリスクの定義、特徴、タイプを示す。
  論文  参考訳（メタデータ） (2023-12-08T18:26:08Z)
• AI Risk Profiles: A Standards Proposal for Pre-Deployment AI Risk Disclosures [0.8702432681310399]
  下流の意思決定をガイドできるリスクプロファイリング標準を提案する。 この基準は、提案したAIリスクの分類に基づいており、文献で提案されるさまざまなリスクの高度な分類を反映している。 我々はこの方法論を,公開情報を用いた多数の著名なAIシステムに適用する。
  論文  参考訳（メタデータ） (2023-09-22T20:45:15Z)
• Typology of Risks of Generative Text-to-Image Models [1.933681537640272]
  本稿では,DALL-EやMidjourneyといった現代テキスト・画像生成モデルにかかわる直接的なリスクと害について検討する。 これらのリスクの理解と治療に関する知識のギャップは,すでに解決されているものの,我々のレビューでは明らかである。 データバイアスから悪意のある使用まで、22の異なるリスクタイプを特定します。
  論文  参考訳（メタデータ） (2023-07-08T20:33:30Z)
• Assessing Language Model Deployment with Risk Cards [30.927131991814637]
  RiskCardsは、言語モデルに関連するリスクに関する構造化されたアセスメントとドキュメントのためのフレームワークである。 それぞれのリスクカードは、危険を示すリスクのルートを明確にし、有害な状態に配置し、プロンプトとアウトプットのペアを例示します。
  論文  参考訳（メタデータ） (2023-03-31T16:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。