論文の概要: A Different Approach to AI Safety: Proceedings from the Columbia Convening on Openness in Artificial Intelligence and AI Safety
- arxiv url: http://arxiv.org/abs/2506.22183v1
- Date: Fri, 27 Jun 2025 12:45:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-30 21:12:23.201647
- Title: A Different Approach to AI Safety: Proceedings from the Columbia Convening on Openness in Artificial Intelligence and AI Safety
- Title（参考訳）: AIの安全性に対する異なるアプローチ - 人工知能とAIの安全性のオープン性に関するコロンビア・コンベンションの証明
- Authors: Camille François, Ludovic Péran, Ayah Bdeir, Nouha Dziri, Will Hawkins, Yacine Jernite, Sayash Kapoor, Juliet Shen, Heidy Khlaaf, Kevin Klyman, Nik Marda, Marie Pellat, Deb Raji, Divya Siddarth, Aviya Skowron, Joseph Spisak, Madhulika Srikumar, Victor Storchan, Audrey Tang, Jen Weedon,
- Abstract要約: オープンウェイトでオープンソースのファンデーションモデルは、AIシステムを安全にする義務を強化しています。
本稿では,AIオープンネスと安全に関するコロンビア・コンベンションの結果を報告する。
- 参考スコア（独自算出の注目度）: 12.885990679810831
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The rapid rise of open-weight and open-source foundation models is intensifying the obligation and reshaping the opportunity to make AI systems safe. This paper reports outcomes from the Columbia Convening on AI Openness and Safety (San Francisco, 19 Nov 2024) and its six-week preparatory programme involving more than forty-five researchers, engineers, and policy leaders from academia, industry, civil society, and government. Using a participatory, solutions-oriented process, the working groups produced (i) a research agenda at the intersection of safety and open source AI; (ii) a mapping of existing and needed technical interventions and open source tools to safely and responsibly deploy open foundation models across the AI development workflow; and (iii) a mapping of the content safety filter ecosystem with a proposed roadmap for future research and development. We find that openness -- understood as transparent weights, interoperable tooling, and public governance -- can enhance safety by enabling independent scrutiny, decentralized mitigation, and culturally plural oversight. However, significant gaps persist: scarce multimodal and multilingual benchmarks, limited defenses against prompt-injection and compositional attacks in agentic systems, and insufficient participatory mechanisms for communities most affected by AI harms. The paper concludes with a roadmap of five priority research directions, emphasizing participatory inputs, future-proof content filters, ecosystem-wide safety infrastructure, rigorous agentic safeguards, and expanded harm taxonomies. These recommendations informed the February 2025 French AI Action Summit and lay groundwork for an open, plural, and accountable AI safety discipline.
- Abstract（参考訳）: オープンウェイトとオープンソースファウンデーションモデルの急速な増加は、その義務を強化し、AIシステムを安全にする機会を再構築している。
本稿は、AIオープンネスと安全に関するコロンビア会議(サンフランシスコ、2024年11月19日)と、学術、産業、市民社会、政府から45人以上の研究者、技術者、政策リーダーが参加する6週間の予備プログラムの結果を報告する。
参加型ソリューション指向プロセスを用いた作業グループの構築
一 安全とオープンソースAIの交差点における研究議題
(ii)AI開発ワークフロー全体にわたってオープンファンデーションモデルを安全かつ責任を持ってデプロイするための、既存の必要な技術的介入とオープンソースツールのマッピング。
三 コンテンツセーフティフィルタのエコシステムをマッピングし、今後の研究開発のロードマップを策定する。
透明性のある重み、相互運用可能なツール、パブリックガバナンスとして理解されているオープン性は、独立した監視、分散緩和、文化的に複数の監視を可能にすることで、安全性を高めることができる。
しかし、大きなギャップは続く: マルチモーダルと多言語ベンチマークの不足、エージェントシステムにおける迅速なインジェクションと構成的攻撃に対する限定的な防御、AIの被害に最も影響されたコミュニティに対する参加機構の不足。
本稿は,参加型インプット,将来型コンテンツフィルタ,生態系全体の安全インフラ,厳格なエージェントセーフガード,ハーモトノミーの拡張といった,5つの優先的な研究方向のロードマップで締めくくっている。
これらの勧告は、2025年2月のフレンチAIアクションサミットに通知し、オープンで複数の説明可能なAI安全規律の基礎を築いた。
関連論文リスト
- The Singapore Consensus on Global AI Safety Research Priorities [129.2088011234438]
2025年シンガポールAI会議(SCAI: International Scientific Exchange on AI Safety)は、この分野での研究を支援することを目的としている。
ヨシュア・ベンジオが議長を務める国際AI安全レポート(AI Safety Report)は、33の政府によって支援されている。
レポートは、AI安全研究ドメインを3つのタイプに分類する。信頼に値するAIシステム(開発)作成の課題、リスク評価の課題(評価)、デプロイメント後の監視と介入の課題(会議)。
論文 参考訳（メタデータ） (2025-06-25T17:59:50Z) - Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。
textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
論文 参考訳（メタデータ） (2025-05-04T12:03:29Z) - In-House Evaluation Is Not Enough: Towards Robust Third-Party Flaw Disclosure for General-Purpose AI [93.33036653316591]
我々はシステムの安全性を高めるために3つの介入を要求します。
まず、標準化されたAI欠陥レポートと研究者へのエンゲージメントのルールを用いることを提案する。
第2に,GPAIシステムプロバイダが広視野欠陥開示プログラムを採用することを提案する。
第3に,欠陥報告の分布を調整するための改良されたインフラの開発を提唱する。
論文 参考訳（メタデータ） (2025-03-21T05:09:46Z) - Enabling External Scrutiny of AI Systems with Privacy-Enhancing Technologies [0.0]
この記事では、非営利のOpenMinedが開発した技術インフラが、センシティブな情報を妥協することなく、AIシステムの外部調査を可能にする方法について説明する。
実際には、外部の研究者は、セキュリティ、プライバシ、知的財産に関するAI企業の正当な懸念のために、AIシステムへのアクセスに苦労している。
OpenMinedが開発したエンドツーエンドの技術インフラは、いくつかのPETをさまざまなセットアップに統合し、AIシステムのプライバシー保護監査を可能にする。
論文 参考訳（メタデータ） (2025-02-05T15:31:11Z) - Transparency, Security, and Workplace Training & Awareness in the Age of Generative AI [0.0]
AI技術の進歩に伴い、倫理的考慮、透明性、データのプライバシー、そして人間の労働への影響は、イノベーションと効率の推進力と交差する。
我々の研究は、主流の精査から離れて、しばしば周辺で機能する公開アクセス可能な大規模言語モデル(LLM)を探索する。
具体的には、制限のないコミュニケーションとプライバシを中心としたプラットフォームであるGab AIを調べ、検閲なしで自由に対話できるようにします。
論文 参考訳（メタデータ） (2024-12-19T17:40:58Z) - Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。
本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
論文 参考訳（メタデータ） (2024-12-05T10:05:53Z) - Building Trust: Foundations of Security, Safety and Transparency in AI [0.23301643766310373]
我々は、問題の追跡、修復、AIモデルのライフサイクルとオーナシッププロセスの明らかな欠如といった課題を強調しながら、現在のセキュリティと安全性のシナリオをレビューする。
本稿では,AIモデルの開発と運用において,より標準化されたセキュリティ,安全性,透明性を実現するための基礎的要素を提供する。
論文 参考訳（メタデータ） (2024-11-19T06:55:57Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。