論文の概要: Open-Sourcing Highly Capable Foundation Models: An evaluation of risks,
benefits, and alternative methods for pursuing open-source objectives
- arxiv url: http://arxiv.org/abs/2311.09227v1
- Date: Fri, 29 Sep 2023 17:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 16:09:16.438906
- Title: Open-Sourcing Highly Capable Foundation Models: An evaluation of risks,
benefits, and alternative methods for pursuing open-source objectives
- Title（参考訳）: オープンSourcing Highly Capable Foundation Models:オープンソース目標を追求するためのリスク・メリット・代替手法の評価
- Authors: Elizabeth Seger, Noemi Dreksler, Richard Moulange, Emily Dardaman,
Jonas Schuett, K. Wei, Christoph Winter, Mackenzie Arnold, Se\'an \'O
h\'Eigeartaigh, Anton Korinek, Markus Anderljung, Ben Bucknall, Alan Chan,
Eoghan Stafford, Leonie Koessler, Aviv Ovadya, Ben Garfinkel, Emma Bluemke,
Michael Aird, Patrick Levermore, Julian Hazell, Abhishek Gupta
- Abstract要約: AIラボをオープンソースにするか、あるいはモデルへのアクセスを制限するという最近の決定は、議論を巻き起こした。
本稿では,高機能基盤モデルのオープンソース化のリスクとメリットについて考察する。
- 参考スコア（独自算出の注目度）: 6.575445633821399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent decisions by leading AI labs to either open-source their models or to
restrict access to their models has sparked debate about whether, and how,
increasingly capable AI models should be shared. Open-sourcing in AI typically
refers to making model architecture and weights freely and publicly accessible
for anyone to modify, study, build on, and use. This offers advantages such as
enabling external oversight, accelerating progress, and decentralizing control
over AI development and use. However, it also presents a growing potential for
misuse and unintended consequences. This paper offers an examination of the
risks and benefits of open-sourcing highly capable foundation models. While
open-sourcing has historically provided substantial net benefits for most
software and AI development processes, we argue that for some highly capable
foundation models likely to be developed in the near future, open-sourcing may
pose sufficiently extreme risks to outweigh the benefits. In such a case,
highly capable foundation models should not be open-sourced, at least not
initially. Alternative strategies, including non-open-source model sharing
options, are explored. The paper concludes with recommendations for developers,
standard-setting bodies, and governments for establishing safe and responsible
model sharing practices and preserving open-source benefits where safe.
- Abstract（参考訳）: AIラボをオープンソースにするか、あるいはモデルへのアクセスを制限するという最近の決定は、ますます有能になるAIモデルをいかに共有すべきかという議論を引き起こしている。
AIのオープンソースは通常、モデルアーキテクチャとウェイトを自由に公開して誰でも変更、研究、構築、使用できるようにする。
これにより、外部監視の有効化、進捗の加速、AI開発と使用に対する制御の分散化といったメリットが提供される。
しかし、悪用や意図しない結果をもたらす可能性も高まっている。
本稿では,高能力基礎モデルのオープンソース化によるリスクとメリットについて考察する。
オープンソースは歴史的に、ほとんどのソフトウェアとAI開発プロセスに実質的な利益をもたらしてきたが、近い将来に開発されるであろう高度な基盤モデルでは、オープンソースは、その利点を上回る十分な極端なリスクをもたらす可能性がある、と私たちは主張する。
そのような場合、高機能な基盤モデルは、少なくとも最初はオープンソースにすべきではない。
オープンソースでないモデル共有オプションを含む代替戦略が検討されている。
この論文は、安全で責任のあるモデル共有プラクティスを確立し、安全なオープンソースの利益を維持するための開発者、標準化団体、政府への勧告で締めくくります。
関連論文リスト
- OpenR: An Open Source Framework for Advanced Reasoning with Large Language Models [61.14336781917986]
大規模言語モデル(LLM)の推論能力を高めるためのオープンソースのフレームワークであるOpenRを紹介する。
OpenRは、データ取得、強化学習トレーニング、非自己回帰デコーディングを凝集性ソフトウェアプラットフォームに統合する。
私たちの研究は、OpenAIのo1モデルのコア技術と強化学習を探求する、オープンソースのフレームワークを初めて提供するものです。
論文 参考訳（メタデータ） (2024-10-12T23:42:16Z) - PRISM: A Design Framework for Open-Source Foundation Model Safety [0.0]
本稿では,オープンファンデーションモデル開発者がモデル安全性にどのようにアプローチすべきか,という課題に対処する。
オープンソースファウンデーションモデル安全のための設計フレームワークであるPRISMを導入し、プライベート、ロバスト、インディペンデント安全対策を強調した。
PRISMは、個人や社会全体のリスクを最小限に抑えつつ、これらの強力な技術のポテンシャルを最大化する、より安全なオープンソースエコシステムを作ることを目指している。
論文 参考訳（メタデータ） (2024-06-14T21:26:15Z) - Towards a Framework for Openness in Foundation Models: Proceedings from the Columbia Convening on Openness in Artificial Intelligence [18.130525337375985]
本稿では,AIスタックにまたがるオープンネスと闘うためのフレームワークを提案する。
このトピックに関する以前の研究を要約し、オープン性を追求する様々な潜在的理由を分析します。
モデルとシステムレベルで、AIスタックのさまざまな部分でオープン性がどのように変化するのかを概説する。
論文 参考訳（メタデータ） (2024-05-17T20:35:39Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳（メタデータ） (2024-05-14T13:37:36Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳（メタデータ） (2024-04-25T21:14:24Z) - Open-Source AI-based SE Tools: Opportunities and Challenges of Collaborative Software Learning [23.395624804517034]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)タスクの進展に役立っている。
これらのAIベースのSEモデルのコラボレーションは、高品質なデータソースの最大化に重点を置いている。
特に高品質のデータは、しばしば商業的または機密性の高い価値を持ち、オープンソースAIベースのSEプロジェクトではアクセスできない。
論文 参考訳（メタデータ） (2024-04-09T10:47:02Z) - The Model Openness Framework: Promoting Completeness and Openness for Reproducibility, Transparency, and Usability in Artificial Intelligence [0.0]
モデルの完全性とオープン性に基づいて機械学習モデルを評価する3階層分類システムであるモデルオープンネスフレームワーク(MOF)を紹介する。
各MOFクラスに対して、モデル開発ライフサイクルのコード、データ、ドキュメントコンポーネントを定義します。
さらに、モデルオープンネスツール(MOT)は、MOF分類システムに対するモデルのオープン性と完全性を評価するために、ユーザフレンドリーなリファレンス実装を提供する。
論文 参考訳（メタデータ） (2024-03-20T17:47:08Z) - On the Societal Impact of Open Foundation Models [93.67389739906561]
ここでは、広く利用可能なモデルウェイトを持つものとして定義されている、オープンファンデーションモデルに重点を置いています。
オープンファンデーションモデルの5つの特徴を識別し,その利点とリスクを両立させる。
論文 参考訳（メタデータ） (2024-02-27T16:49:53Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳（メタデータ） (2022-11-27T21:43:45Z) - Towards Inheritable Models for Open-Set Domain Adaptation [56.930641754944915]
本稿では、将来、ソースデータセットが存在しない場合の適応を容易にするために、ソース学習モデルを用いた実用的なドメイン適応パラダイムを提案する。
本稿では,ソースデータがない場合でも,対象領域に対して最適なソースモデルの選択を可能にするために,継承可能性の定量化を目的とする手法を提案する。
論文 参考訳（メタデータ） (2020-04-09T07:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。