論文の概要: AI Safety in the Eyes of the Downstream Developer: A First Look at Concerns, Practices, and Challenges
- arxiv url: http://arxiv.org/abs/2503.19444v2
- Date: Wed, 26 Mar 2025 02:57:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 12:47:10.391848
- Title: AI Safety in the Eyes of the Downstream Developer: A First Look at Concerns, Practices, and Challenges
- Title（参考訳）: 下流開発者の目に見るAIの安全性 - 懸念、実践、課題を初めて見る
- Authors: Haoyu Gao, Mansooreh Zahedi, Wenxin Jiang, Hong Yi Lin, James Davis, Christoph Treude,
- Abstract要約: 事前トレーニングされたモデル(PTM)は、AIベースのソフトウェアの基礎となり、最小限のトレーニングオーバーヘッドで、迅速な統合と開発を可能にする。
本研究では,AIベースのソフトウェア開発におけるAI安全性問題に対する開発者の懸念,プラクティス,認識する課題について検討する。
- 参考スコア（独自算出の注目度）: 10.342989453672123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained models (PTMs) have become a cornerstone of AI-based software, allowing for rapid integration and development with minimal training overhead. However, their adoption also introduces unique safety challenges, such as data leakage and biased outputs, that demand rigorous handling by downstream developers. While previous research has proposed taxonomies of AI safety concerns and various mitigation strategies, how downstream developers address these issues remains unexplored. This study investigates downstream developers' concerns, practices and perceived challenges regarding AI safety issues during AI-based software development. To achieve this, we conducted a mixed-method study, including interviews with 18 participants, a survey of 86 practitioners, and an analysis of 874 AI incidents from the AI Incident Database. Our results reveal that while developers generally demonstrate strong awareness of AI safety concerns, their practices, especially during the preparation and PTM selection phases, are often inadequate. The lack of concrete guidelines and policies leads to significant variability in the comprehensiveness of their safety approaches throughout the development lifecycle, with additional challenges such as poor documentation and knowledge gaps, further impeding effective implementation. Based on our findings, we offer suggestions for PTM developers, AI-based software developers, researchers, and policy makers to enhance the integration of AI safety measures.
- Abstract（参考訳）: 事前トレーニングされたモデル(PTM)は、AIベースのソフトウェアの基礎となり、最小限のトレーニングオーバーヘッドで、迅速な統合と開発を可能にする。
しかし、データリークやバイアスドアウトプットなど、下流の開発者による厳格なハンドリングを要求されるような、ユニークな安全性上の課題も導入されている。
以前の研究では、AIの安全性に関する懸念と様々な緩和戦略の分類学が提案されていたが、下流の開発者がこれらの問題にどのように対処するかは未解明のままである。
本研究では、AIベースのソフトウェア開発において、AIの安全性問題に対する開発者の懸念、実践、認識された課題について調査する。
そこで我々は,18人の参加者へのインタビュー,86人の実践者に対する調査,AIインシデントデータベースによる874件のAIインシデントの分析など,複合手法による調査を行った。
我々の結果によると、開発者は一般的にAIの安全性に対する意識を強く示しているが、特に準備とPTMの選択段階では、その実践は不十分であることが多い。
具体的なガイドラインやポリシーの欠如は、開発ライフサイクル全体を通して、彼らの安全アプローチの包括性に大きな変動をもたらします。
我々の発見に基づいて、我々は、AI安全対策の統合を強化するために、PTM開発者、AIベースのソフトウェア開発者、研究者、政策立案者に提案する。
関連論文リスト
- Comparative Analysis of AI-Driven Security Approaches in DevSecOps: Challenges, Solutions, and Future Directions [0.0]
本研究では,DevSecOpsにおけるAI駆動型セキュリティソリューションの分析と比較を行う。
この発見は、経験的検証、スケーラビリティ、セキュリティ自動化におけるAIの統合のギャップを明らかにしている。
この研究は、DevSecOpsでAIベースのセキュリティフレームワークを最適化するための今後の方向性を提案する。
論文 参考訳（メタデータ） (2025-04-27T08:18:11Z) - AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。
AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。
我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2025-02-24T02:11:52Z) - Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Advancing Trustworthy AI for Sustainable Development: Recommendations for Standardising AI Incident Reporting [2.209921757303168]
AI技術の利用の増加は、AIインシデントの増加、リスクの引き起こし、個人、組織、社会に害を与えている。
本研究では,このようなインシデントデータを確実かつ包括的に収集する標準プロトコルの欠如を認識し,対処する。
このギャップに対処するための標準化努力を強化するため、9つの実行可能な推奨事項を提案する。
論文 参考訳（メタデータ） (2025-01-01T17:34:57Z) - "I Don't Use AI for Everything": Exploring Utility, Attitude, and Responsibility of AI-empowered Tools in Software Development [19.851794567529286]
本研究では、ソフトウェア開発プロセスにおけるAIを活用したツールの採用、影響、およびセキュリティに関する考察を行う。
ソフトウェア開発のさまざまな段階において,AIツールが広く採用されていることが判明した。
論文 参考訳（メタデータ） (2024-09-20T09:17:10Z) - Safety challenges of AI in medicine in the era of large language models [23.817939398729955]
大規模言語モデル(LLM)は、医療従事者、患者、研究者に新たな機会を提供する。
AIとLLMはより強力になり、いくつかの医療タスクにおいて超人的パフォーマンスを達成するにつれ、その安全性に対する公衆の懸念が高まっている。
本稿では,LLM時代のAI利用の新たなリスクについて検討する。
論文 参考訳（メタデータ） (2024-09-11T13:47:47Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。
この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。
これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
論文 参考訳（メタデータ） (2024-06-04T01:22:31Z) - Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。
本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
論文 参考訳（メタデータ） (2024-03-21T19:12:37Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。