Fugu-MT 論文翻訳(概要): Beyond the ML Model: Applying Safety Engineering Frameworks to Text-to-Image Development

論文の概要: Beyond the ML Model: Applying Safety Engineering Frameworks to Text-to-Image Development

arxiv url: http://arxiv.org/abs/2307.10312v1
Date: Wed, 19 Jul 2023 02:46:20 GMT
ステータス: 処理完了
システム内更新日: 2023-07-21 16:20:09.048205
Title: Beyond the ML Model: Applying Safety Engineering Frameworks to Text-to-Image Development
Title（参考訳）: MLモデルを超えて: テキスト・ツー・イメージ開発に安全エンジニアリングフレームワークを適用する
Authors: Shalaleh Rismani, Renee Shelby, Andrew Smart, Renelito Delos Santos, AJung Moon, Negar Rostamzadeh
Abstract要約: 我々は、テキスト・ツー・イメージ・モデルを含むケーススタディに、2つの確立された安全工学フレームワーク(FMEA,A)を適用した。分析の結果,社会的・倫理的リスクを生じさせる障害や危険を明らかにするための安全枠組みが示された。
参考スコア（独自算出の注目度）: 8.912560990925993
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Identifying potential social and ethical risks in emerging machine learning (ML) models and their applications remains challenging. In this work, we applied two well-established safety engineering frameworks (FMEA, STPA) to a case study involving text-to-image models at three stages of the ML product development pipeline: data processing, integration of a T2I model with other models, and use. Results of our analysis demonstrate the safety frameworks - both of which are not designed explicitly examine social and ethical risks - can uncover failure and hazards that pose social and ethical risks. We discovered a broad range of failures and hazards (i.e., functional, social, and ethical) by analyzing interactions (i.e., between different ML models in the product, between the ML product and user, and between development teams) and processes (i.e., preparation of training data or workflows for using an ML service/product). Our findings underscore the value and importance of examining beyond an ML model in examining social and ethical risks, especially when we have minimal information about an ML model.
Abstract（参考訳）: 新興機械学習(ML)モデルとその応用における潜在的な社会的・倫理的リスクの特定は依然として困難である。本研究では,機械学習製品開発パイプラインの3段階において,テキストから画像へのモデルを含むケーススタディとして,データ処理,t2iモデルと他のモデルとの統合,使用について,確立された2つの安全工学フレームワーク(fmea,stpa)を適用した。分析の結果,社会的・倫理的リスクを明示的に検討しない安全枠組みが,社会的・倫理的リスクをもたらす失敗や危険を明らかにすることができることを示した。製品内のさまざまなMLモデル間、ML製品とユーザ間、開発チーム間、など)とプロセス(MLサービス/製品を使用するためのトレーニングデータやワークフローの準備)を分析して、幅広い障害や危険(機能的、社会的、倫理的)を発見しました。本研究は,特にMLモデルに関する情報が最小限である場合に,社会的・倫理的リスクを検討する上で,MLモデルを超えて調査することの価値と重要性を明らかにするものである。

関連論文リスト

SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文参考訳（メタデータ） (2024-10-24T17:14:40Z)
Safety in Graph Machine Learning: Threats and Safeguards [84.26643884225834]
社会的利益にもかかわらず、最近の研究はグラフMLモデルの普及に伴う重要な安全性上の懸念を浮き彫りにしている。安全性を重視した設計が欠如しているため、これらのモデルは信頼性の低い予測を導き、一般化性の低下を示し、データの機密性を侵害することができる。金融詐欺検出のような高額なシナリオでは、これらの脆弱性は個人と社会の両方を全般的に危険に晒す可能性がある。
論文参考訳（メタデータ） (2024-05-17T18:11:11Z)
ML-On-Rails: Safeguarding Machine Learning Models in Software Systems A Case Study [4.087995998278127]
機械学習モデルを保護するためのプロトコルであるML-On-Railsを紹介する。 ML-On-Railsは、さまざまなMLタスクのための明確に定義されたエンドポイントインターフェースを確立し、MLプロバイダとMLコンシューマ間のコミュニケーションを明確にする。実世界のMoveReminderアプリケーションのケーススタディを通じてプロトコルを評価する。
論文参考訳（メタデータ） (2024-01-12T11:27:15Z)
Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文参考訳（メタデータ） (2023-10-20T05:44:39Z)
Concrete Safety for ML Problems: System Safety for ML Development and Assessment [0.758305251912708]
信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
論文参考訳（メタデータ） (2023-02-06T18:02:07Z)
From plane crashes to algorithmic harm: applicability of safety engineering frameworks for responsible ML [8.411124873373172]
機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。 MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
論文参考訳（メタデータ） (2022-10-06T00:09:06Z)
Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文参考訳（メタデータ） (2021-06-09T05:56:42Z)
Learning by Design: Structuring and Documenting the Human Choices in Machine Learning Development [6.903929927172917]
本稿では,機械学習モデル作成における熟考と規範的選択を概説する8つの設計質問からなる手法を提案する。本手法は,方法論的透明性を通じた批判的評価を支援するなど,いくつかの利点がある。本手法は,MLモデルの開発において,ML実践者が選択や仮定を構造化し,正当化する上で有効であると考えている。
論文参考訳（メタデータ） (2021-05-03T08:47:45Z)
Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文参考訳（メタデータ） (2021-03-02T22:50:45Z)
ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文参考訳（メタデータ） (2021-02-04T11:35:13Z)
Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
論文参考訳（メタデータ） (2021-01-08T14:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。