論文の概要: On the Societal Impact of Open Foundation Models

• arxiv url: http://arxiv.org/abs/2403.07918v1
• Date: Tue, 27 Feb 2024 16:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 05:50:41.758246
• Title: On the Societal Impact of Open Foundation Models
• Title（参考訳）: オープンファンデーションモデルの社会的影響について
• Authors: Sayash Kapoor, Rishi Bommasani, Kevin Klyman, Shayne Longpre, Ashwin Ramaswami, Peter Cihon, Aspen Hopkins, Kevin Bankston, Stella Biderman, Miranda Bogen, Rumman Chowdhury, Alex Engler, Peter Henderson, Yacine Jernite, Seth Lazar, Stefano Maffulli, Alondra Nelson, Joelle Pineau, Aviya Skowron, Dawn Song, Victor Storchan, Daniel Zhang, Daniel E. Ho, Percy Liang, Arvind Narayanan,
• Abstract要約: ここでは、広く利用可能なモデルウェイトを持つものとして定義されている、オープンファンデーションモデルに重点を置いています。 オープンファンデーションモデルの5つの特徴を識別し,その利点とリスクを両立させる。
• 参考スコア（独自算出の注目度）: 93.67389739906561
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.
• Abstract（参考訳）: ファンデーションモデルは強力な技術であり、どのように公開され、その社会的影響を直接形作るかである。 本稿では,広範に利用可能なモデルウェイト(例えばLlama 2, 安定拡散XL)として定義したオープンファンデーションモデルに焦点を当てる。 オープンファンデーションモデルの5つの特徴(例えば、カスタマイズ性の向上、監視の低さなど)を識別し、その利点とリスクを両立させます。 オープンファンデーションモデルは、イノベーション、競争、意思決定力の分散、透明性にまたがるいくつかの注意点を含む、大きなメリットを示します。 誤用リスクを理解するため,リスク評価フレームワークを設計し,その限界リスクを分析する。 いくつかの誤用ベクター(例えばサイバー攻撃、バイオ兵器)において、既存の技術と比較してオープンファンデーションモデルの限界リスクを効果的に特徴づけるには、現在の研究は不十分であることがわかった。 このフレームワークは、なぜ限界リスクが低いのかを説明するのに役立ち、過去の作業が異なる仮定でフレームワークの異なるサブセットに焦点を当てていることを明らかにすることで、誤用リスクに関する不一致を明確にし、より建設的な議論を進めるための道筋を明確にする。 全体として、我々の研究は、理論上の利点とリスクを実証的に検証するためにどんな研究が必要なのかを概説することで、オープンファンデーションモデルの社会的影響のより根底的な評価を支援するのに役立ちます。

関連論文リスト

• Towards a Framework for Openness in Foundation Models: Proceedings from the Columbia Convening on Openness in Artificial Intelligence [18.130525337375985]
  本稿では,AIスタックにまたがるオープンネスと闘うためのフレームワークを提案する。 このトピックに関する以前の研究を要約し、オープン性を追求する様々な潜在的理由を分析します。 モデルとシステムレベルで、AIスタックのさまざまな部分でオープン性がどのように変化するのかを概説する。
  論文  参考訳（メタデータ） (2024-05-17T20:35:39Z)
• Auditing Fairness under Unobserved Confounding [56.61738581796362]
  リスクファクターがすべて観察されているという仮定を完全に取り除いたり緩和したりしても、ハイリスクな個人に治療率に有意義な限界を与えることができることを示す。 既存の意思決定システムの不公平な結果を原則的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-18T21:09:06Z)
• Open-Sourcing Highly Capable Foundation Models: An evaluation of risks, benefits, and alternative methods for pursuing open-source objectives [6.575445633821399]
  AIラボをオープンソースにするか、あるいはモデルへのアクセスを制限するという最近の決定は、議論を巻き起こした。 本稿では,高機能基盤モデルのオープンソース化のリスクとメリットについて考察する。
  論文  参考訳（メタデータ） (2023-09-29T17:03:45Z)
• On (assessing) the fairness of risk score models [2.0646127669654826]
  リスクモデルは、ユーザに対して潜在的な結果について不確実性を伝えるという事実など、さまざまな理由から関心を集めている。 リスクスコアフェアネスの鍵となるデシダータムとして,異なるグループに類似した価値を提供する。 本稿では,従来提案されていた基準値よりも試料径バイアスが少ない新しい校正誤差指標を提案する。
  論文  参考訳（メタデータ） (2023-02-17T12:45:51Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• Causal Fairness Analysis [68.12191782657437]
  意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。 我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。 本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
  論文  参考訳（メタデータ） (2022-07-23T01:06:34Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)
• Financial Data Analysis Using Expert Bayesian Framework For Bankruptcy Prediction [0.0]
  本稿では,エキスパートベイズフレームワークを用いた生成モデリングの新たな手法を提案する。 提案フレームワークの最大の利点は、モデリングプロセスに専門家の判断を明示的に取り入れることである。 提案手法は、金融や医療診断など、高度に規制された、あるいは安全性の高い応用に適している。
  論文  参考訳（メタデータ） (2020-10-19T19:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。