論文の概要: Report on NSF Workshop on Science of Safe AI
- arxiv url: http://arxiv.org/abs/2506.22492v1
- Date: Tue, 24 Jun 2025 18:55:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.414241
- Title: Report on NSF Workshop on Science of Safe AI
- Title(参考訳): NSF Workshop on Science of Safe AI 参加報告
- Authors: Rajeev Alur, Greg Durrett, Hadas Kress-Gazit, Corina Păsăreanu, René Vidal,
- Abstract要約: 機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。
AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。
本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
- 参考スコア(独自算出の注目度): 75.96202715567088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in machine learning, particularly the emergence of foundation models, are leading to new opportunities to develop technology-based solutions to societal problems. However, the reasoning and inner workings of today's complex AI models are not transparent to the user, and there are no safety guarantees regarding their predictions. Consequently, to fulfill the promise of AI, we must address the following scientific challenge: how to develop AI-based systems that are not only accurate and performant but also safe and trustworthy? The criticality of safe operation is particularly evident for autonomous systems for control and robotics, and was the catalyst for the Safe Learning Enabled Systems (SLES) program at NSF. For the broader class of AI applications, such as users interacting with chatbots and clinicians receiving treatment recommendations, safety is, while no less important, less well-defined with context-dependent interpretations. This motivated the organization of a day-long workshop, held at University of Pennsylvania on February 26, 2025, to bring together investigators funded by the NSF SLES program with a broader pool of researchers studying AI safety. This report is the result of the discussions in the working groups that addressed different aspects of safety at the workshop. The report articulates a new research agenda focused on developing theory, methods, and tools that will provide the foundations of the next generation of AI-enabled systems.
- Abstract(参考訳): 機械学習の最近の進歩、特に基礎モデルの出現は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。
しかしながら、今日の複雑なAIモデルの推論と内部動作は、ユーザには透過的ではなく、その予測に関する安全性保証はない。
その結果、AIの約束を果たすためには、次のような科学的課題に対処する必要がある。
安全運転の重要性は、制御とロボティクスのための自律システムにとって特に顕著であり、NSFの SLES (Safe Learning Enabled Systems) プログラムの触媒となった。
チャットボットと対話するユーザや治療レコメンデーションを受ける臨床医など、幅広い種類のAIアプリケーションにとって、安全性はそれほど重要ではないが、文脈に依存した解釈では十分に定義されていない。
これは2025年2月26日にペンシルバニア大学で行われた1日間のワークショップを組織し、NSF SLESプログラムによって資金提供された研究者を、AIの安全性を研究する研究者の広範なプールに集める動機となった。
本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
このレポートは、次世代のAI対応システムの基盤を提供する理論、方法、ツールの開発に焦点を当てた、新たな研究課題を詳述している。
関連論文リスト
- A New Perspective On AI Safety Through Control Theory Methodologies [16.51699616065134]
AIは新たなレベルの自律性を達成することを約束するが、安全保証の欠如によって妨げられている。
本稿では、基礎となるデータ生成プロセスの学際的解釈に基づいて、AI安全性に関する新たな視点を概説する。
新たな視点は、データコントロールとも呼ばれ、AIエンジニアリングを刺激し、既存の安全分析と保証を活用することを目的としている。
論文 参考訳(メタデータ) (2025-06-30T10:26:59Z) - A Different Approach to AI Safety: Proceedings from the Columbia Convening on Openness in Artificial Intelligence and AI Safety [12.885990679810831]
オープンウェイトでオープンソースのファンデーションモデルは、AIシステムを安全にする義務を強化しています。
本稿では,AIオープンネスと安全に関するコロンビア・コンベンションの結果を報告する。
論文 参考訳(メタデータ) (2025-06-27T12:45:44Z) - The Singapore Consensus on Global AI Safety Research Priorities [129.2088011234438]
2025年シンガポールAI会議(SCAI: International Scientific Exchange on AI Safety)は、この分野での研究を支援することを目的としている。
ヨシュア・ベンジオが議長を務める国際AI安全レポート(AI Safety Report)は、33の政府によって支援されている。
レポートは、AI安全研究ドメインを3つのタイプに分類する。信頼に値するAIシステム(開発)作成の課題、リスク評価の課題(評価)、デプロイメント後の監視と介入の課題(会議)。
論文 参考訳(メタデータ) (2025-06-25T17:59:50Z) - Comparative Analysis of AI-Driven Security Approaches in DevSecOps: Challenges, Solutions, and Future Directions [0.0]
本研究では,DevSecOpsにおけるAI駆動型セキュリティソリューションの分析と比較を行う。
この発見は、経験的検証、スケーラビリティ、セキュリティ自動化におけるAIの統合のギャップを明らかにしている。
この研究は、DevSecOpsでAIベースのセキュリティフレームワークを最適化するための今後の方向性を提案する。
論文 参考訳(メタデータ) (2025-04-27T08:18:11Z) - AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。
AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。
我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2025-02-24T02:11:52Z) - Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。
本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
論文 参考訳(メタデータ) (2025-01-09T03:59:10Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳(メタデータ) (2024-07-31T17:59:24Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳(メタデータ) (2024-02-21T08:29:42Z) - Proceedings of the Robust Artificial Intelligence System Assurance
(RAISA) Workshop 2022 [0.0]
RAISAワークショップは、堅牢な人工知能(AI)と機械学習(ML)システムの研究、開発、応用に焦点を当てる。
特定のMLアルゴリズムに関してロバストネスを研究するのではなく、システムアーキテクチャのレベルでロバストネスの保証を検討することを目的としています。
論文 参考訳(メタデータ) (2022-02-10T01:15:50Z) - AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data
Proceedings [8.445274192818825]
予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。
このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。
広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
論文 参考訳(メタデータ) (2020-01-15T15:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。