論文の概要: AI Safety in the Eyes of the Downstream Developer: A First Look at Concerns, Practices, and Challenges

• arxiv url: http://arxiv.org/abs/2503.19444v1
• Date: Tue, 25 Mar 2025 08:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:22.426761
• Title: AI Safety in the Eyes of the Downstream Developer: A First Look at Concerns, Practices, and Challenges
• Title（参考訳）: 下流開発者の目に見るAIの安全性 - 懸念、実践、課題を初めて見る
• Authors: Haoyu Gao, Mansooreh Zahedi, Wenxin Jiang, Hong Yi Lin, James Davis, Christoph Treude,
• Abstract要約: 事前トレーニングされたモデル(PTM)は、AIベースのソフトウェアの基礎となり、最小限のトレーニングオーバーヘッドで、迅速な統合と開発を可能にする。 本研究では,AIベースのソフトウェア開発におけるAI安全性問題に対する開発者の懸念,プラクティス,認識する課題について検討する。
• 参考スコア（独自算出の注目度）: 10.342989453672123
• License:
• Abstract: Pre-trained models (PTMs) have become a cornerstone of AI-based software, allowing for rapid integration and development with minimal training overhead. However, their adoption also introduces unique safety challenges, such as data leakage and biased outputs, that demand rigorous handling by downstream developers. While previous research has proposed taxonomies of AI safety concerns and various mitigation strategies, how downstream developers address these issues remains unexplored. This study investigates downstream developers' concerns, practices and perceived challenges regarding AI safety issues during AI-based software development. To achieve this, we conducted a mixed-method study, including interviews with 18 participants, a survey of 86 practitioners, and an analysis of 874 AI incidents from the AI Incident Database. Our results reveal that while developers generally demonstrate strong awareness of AI safety concerns, their practices, especially during the preparation and PTM selection phases, are often inadequate. The lack of concrete guidelines and policies leads to significant variability in the comprehensiveness of their safety approaches throughout the development lifecycle, with additional challenges such as poor documentation and knowledge gaps, further impeding effective implementation. Based on our findings, we offer suggestions for PTM developers, AI-based software developers, researchers, and policy makers to enhance the integration of AI safety measures.
• Abstract（参考訳）: 事前トレーニングされたモデル(PTM)は、AIベースのソフトウェアの基礎となり、最小限のトレーニングオーバーヘッドで、迅速な統合と開発を可能にする。 しかし、データリークやバイアスドアウトプットなど、下流の開発者による厳格なハンドリングを要求されるような、ユニークな安全性上の課題も導入されている。 以前の研究では、AIの安全性に関する懸念と様々な緩和戦略の分類学が提案されていたが、下流の開発者がこれらの問題にどのように対処するかは未解明のままである。 本研究では、AIベースのソフトウェア開発において、AIの安全性問題に対する開発者の懸念、実践、認識された課題について調査する。 そこで我々は,18人の参加者へのインタビュー,86人の実践者に対する調査,AIインシデントデータベースによる874件のAIインシデントの分析など,複合手法による調査を行った。 我々の結果によると、開発者は一般的にAIの安全性に対する意識を強く示しているが、特に準備とPTMの選択段階では、その実践は不十分であることが多い。 具体的なガイドラインやポリシーの欠如は、開発ライフサイクル全体を通して、彼らの安全アプローチの包括性に大きな変動をもたらします。 我々の発見に基づいて、我々は、AI安全対策の統合を強化するために、PTM開発者、AIベースのソフトウェア開発者、研究者、政策立案者に提案する。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
  特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
  論文  参考訳（メタデータ） (2025-01-09T03:59:10Z)
• Advancing Trustworthy AI for Sustainable Development: Recommendations for Standardising AI Incident Reporting [2.209921757303168]
  AI技術の利用の増加は、AIインシデントの増加、リスクの引き起こし、個人、組織、社会に害を与えている。 本研究では,このようなインシデントデータを確実かつ包括的に収集する標準プロトコルの欠如を認識し,対処する。 このギャップに対処するための標準化努力を強化するため、9つの実行可能な推奨事項を提案する。
  論文  参考訳（メタデータ） (2025-01-01T17:34:57Z)
• "I Don't Use AI for Everything": Exploring Utility, Attitude, and Responsibility of AI-empowered Tools in Software Development [19.851794567529286]
  本研究では、ソフトウェア開発プロセスにおけるAIを活用したツールの採用、影響、およびセキュリティに関する考察を行う。 ソフトウェア開発のさまざまな段階において,AIツールが広く採用されていることが判明した。
  論文  参考訳（メタデータ） (2024-09-20T09:17:10Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
  人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。 この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。 これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
  論文  参考訳（メタデータ） (2024-06-04T01:22:31Z)
• Using AI Assistants in Software Development: A Qualitative Study on Security Practices and Concerns [23.867795468379743]
  最近の研究は、AI生成コードがセキュリティ問題を含むことを実証している。 ソフトウェア専門家がAIアシスタントの使用とセキュリティのバランスをとる方法はまだ不明だ。 本稿では,ソフトウェアプロフェッショナルがセキュアなソフトウェア開発にAIアシスタントをどのように利用するかを検討する。
  論文  参考訳（メタデータ） (2024-05-10T10:13:19Z)
• Bridging the Gap: A Study of AI-based Vulnerability Management between Industry and Academia [4.4037442949276455]
  人工知能(AI)の最近の研究進歩は、自動化されたソフトウェア脆弱性管理に有望な結果をもたらした。 業界は、AIベースのテクニックをセキュリティ脆弱性管理ワークフローに統合することに関して、非常に慎重で選択的だ。 我々は、産業の期待をよりよく理解し、AIベースのセキュリティ脆弱性研究の実践的ユーザビリティを改善し、産業とアカデミックの相乗効果を推し進めるための将来の方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-03T19:00:50Z)
• Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
  汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。 本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T19:12:37Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。