論文の概要: Developing a Risk Identification Framework for Foundation Model Uses

• arxiv url: http://arxiv.org/abs/2506.02066v1
• Date: Sun, 01 Jun 2025 23:37:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.781913
• Title: Developing a Risk Identification Framework for Foundation Model Uses
• Title（参考訳）: ファンデーションモデル利用のためのリスク識別フレームワークの開発
• Authors: David Piorkowski, Michael Hind, John Richards, Jacquelyn Martino,
• Abstract要約: 特定のファンデーションモデルの使用に関連するリスクを決定する方法について、実践者にとってのガイダンスはほとんどありません。 基本モデルでリスクを識別するフレームワークを構築する上での課題を特定し、4つの設計要件を合成するために使用法ガバナンスからアイデアを適用する。
• 参考スコア（独自算出の注目度）: 7.013133148085937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As foundation models grow in both popularity and capability, researchers have uncovered a variety of ways that the models can pose a risk to the model's owner, user, or others. Despite the efforts of measuring these risks via benchmarks and cataloging them in AI risk taxonomies, there is little guidance for practitioners on how to determine which risks are relevant for a given foundation model use. In this paper, we address this gap and develop requirements and an initial design for a risk identification framework. To do so, we look to prior literature to identify challenges for building a foundation model risk identification framework and adapt ideas from usage governance to synthesize four design requirements. We then demonstrate how a candidate framework can addresses these design requirements and provide a foundation model use example to show how the framework works in practice for a small subset of risks.
• Abstract（参考訳）: ファンデーションモデルが人気と能力の両方で成長するにつれて、研究者はモデルがモデル所有者、ユーザ、その他の人々に危険をもたらす様々な方法を発見した。 これらのリスクをベンチマークを通じて測定し、AIリスク分類に分類する努力にもかかわらず、特定のファンデーションモデルの使用にどのリスクが関係しているかを実践者に対して判断する方法に関するガイダンスはほとんどない。 本稿では,このギャップに対処し,リスク識別フレームワークの要件と初期設計について述べる。 そのために、我々は、基礎モデルリスク識別フレームワークを構築する上での課題を特定し、4つの設計要件を合成するために、利用管理からアイデアを適応するために、事前文献を考察する。 次に、候補となるフレームワークがこれらの設計要件にどう対処できるかを実演し、そのフレームワークが小さなリスクのサブセットに対して実際にどのように機能しているかを示す基礎モデルの使用例を示します。

関連論文リスト

• A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
  大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。 本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。 我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
  論文  参考訳（メタデータ） (2024-10-15T02:51:32Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Agent Design Pattern Catalogue: A Collection of Architectural Patterns for Foundation Model based Agents [22.94671478021277]
  ファウンデーションモデルに対応した生成人工知能はエージェントの開発と実装を容易にする。 エージェントを設計する実践者を指導する体系的な知識が欠如している。 本稿では、文脈、力、トレードオフを分析した18のアーキテクチャパターンからなるパターンカタログを提案する。
  論文  参考訳（メタデータ） (2024-05-16T23:24:48Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• On the Societal Impact of Open Foundation Models [93.67389739906561]
  ここでは、広く利用可能なモデルウェイトを持つものとして定義されている、オープンファンデーションモデルに重点を置いています。 オープンファンデーションモデルの5つの特徴を識別し,その利点とリスクを両立させる。
  論文  参考訳（メタデータ） (2024-02-27T16:49:53Z)
• Typology of Risks of Generative Text-to-Image Models [1.933681537640272]
  本稿では,DALL-EやMidjourneyといった現代テキスト・画像生成モデルにかかわる直接的なリスクと害について検討する。 これらのリスクの理解と治療に関する知識のギャップは,すでに解決されているものの,我々のレビューでは明らかである。 データバイアスから悪意のある使用まで、22の異なるリスクタイプを特定します。
  論文  参考訳（メタデータ） (2023-07-08T20:33:30Z)
• Distributional Model Equivalence for Risk-Sensitive Reinforcement Learning [20.449497882324785]
  分散強化学習を活用し、モデル等価性の2つの新しい概念を導入する。 我々は、我々のフレームワークがどのようにモデルなしのリスクに敏感なアルゴリズムを拡張できるかを実証する。
  論文  参考訳（メタデータ） (2023-07-04T13:23:21Z)
• Measuring Re-identification Risk [72.6715574626418]
  コンパクトなユーザ表現における再識別リスクを測定するための新しい理論的枠組みを提案する。 我々のフレームワークは、攻撃者がその表現からユーザのアイデンティティを取得できる確率を正式に制限します。 当社のフレームワークが、関心に基づく広告のためのChromeのトピックAPIのような、重要な現実世界のアプリケーションをモデル化するのに十分な一般性を示している。
  論文  参考訳（メタデータ） (2023-04-12T16:27:36Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。